인공 신경망은 퍼셉트론 모델보다 더 복잡한 메커니즘을 가지고 있습니다. 다층 인공 신경망에는 다음과 같은 몇 가지 방법이 있습니다. -
네트워크는 입력 계층과 출력 계층 사이에 여러 중간 계층을 포함할 수 있습니다. 이러한 중간 계층을 은닉층이라고 하며 이 계층에 설치된 노드를 은닉 노드라고 합니다. 결과 아키텍처를 다층 신경망이라고 합니다.
피드포워드 신경망에서 한 계층의 노드는 다음 계층의 노드에만 연결됩니다. 퍼셉트론은 복잡한 수치 연산을 구현하는 출력 레이어의 노드가 하나만 있기 때문에 단일 레이어의 피드포워드 신경망입니다. 순환 신경망에서 링크는 유사한 계층 내부의 노드를 연결하거나 한 계층의 노드를 이전 계층으로 연결할 수 있습니다.
네트워크는 부호 기능 이외의 활성화 기능 방법을 사용할 수 있습니다. 선형, 시그모이드(로지스틱) 및 쌍곡선 탄젠트 함수와 같은 다중 활성화 함수의 인스턴스. 이러한 활성화 함수를 사용하면 숨겨진 노드와 출력 노드가 입력 매개변수에서 비선형인 출력 값을 만들 수 있습니다.
이러한 복잡성으로 인해 다층 신경망은 입력 및 출력 변수 간의 더 복잡한 관계를 모델링할 수 있습니다. 인스턴스는 입력 공간을 특정 클래스로 나누는 두 개의 초평면을 사용하여 정의할 수 있습니다.
ANN 모델의 가중치를 이해할 수 있으며, 충분한 양의 훈련 데이터가 지원될 때 올바른 솔루션으로 조합하는 효율적인 알고리즘이 필요합니다. 한 가지 방법은 네트워크의 각 히든 노드 또는 출력 노드를 별도의 퍼셉트론 단위로 간주하고 동일한 가중치 업데이트 공식을 사용하는 것입니다.
이 방법은 숨겨진 노드의 올바른 출력에 대한 선험적 지식이 부족할 수 있기 때문에 작동하지 않습니다. 이로 인해 오류 용어를 결정하기가 복잡해집니다. (y – y ' ), 각 숨겨진 노드와 관련됩니다. 다음은 경사하강법에 따른 신경망의 가중치를 이해하는 방법론입니다.
ANN 학습 알고리즘의 목적은 제곱 오차의 총합을 최소화하는 가중치 w의 클래스를 결정하는 것입니다. -
$$\mathrm{E(w)\:=\:\frac{1}{2}\displaystyle\sum\limits_{i=1}^N (Y_{i}-Y^{'}_i)^2 }$$
제곱 오차의 합은 예측된 클래스 y ' 때문에 w를 기반으로 합니다. 은닉 노드와 출력 노드에 생성된 가중치의 함수입니다. 이 경우 ANN의 출력은 Sigmoid 또는 tanh 함수와 같은 활성화 함수의 선택으로 인해 매개변수의 비선형 함수입니다.