신경망은 인간의 두뇌가 작동하는 방식을 모방한 프로세스를 통해 일련의 데이터에서 기본 관계를 식별하기 위해 노력하는 일련의 알고리즘입니다. 이 접근 방식에서 신경망은 유기 또는 인공과 같은 뉴런 시스템을 나타냅니다.
신경망은 인지 시스템과 뇌의 신경학적 서비스에서 학습의 (가정된) 절차를 모델로 한 분석적 접근 방식이며 소위 현재로부터의 학습 과정을 실행한 후 다른 관찰에서 새로운 관찰(확정 변수에 대한)을 예측할 수 있습니다. 정보.
역전파의 다음 단계는 다음과 같습니다 -
-
네트워크는 훈련 인스턴스를 수신하고 네트워크의 현재 가중치를 사용하여 출력을 계산합니다.
-
역전파는 계산된 결과와 예상(실제 결과) 간의 차이를 만들어 오류를 계산합니다.
-
오류는 웹을 통해 피드백되고 가중치는 오류를 최소화하도록 수정되므로 오류가 네트워크를 통해 다시 전송되기 때문에 이름이 역전파됩니다.
역전파 알고리즘은 각 훈련 인스턴스에서 생성된 값을 실제 값과 비교하여 네트워크의 전체 오류를 계산합니다. 출력 레이어의 가중치를 변경하여 오류를 줄일 수 있지만 제거할 수는 없습니다. 그러나 알고리즘이 완료되지 않았습니다.
이전 노드에 대한 책임을 네트워크에 생성하고 해당 노드를 연결하는 가중치를 변경하여 전반적인 오류를 줄일 수 있습니다. 책임을 할당하기 위한 구체적인 구조는 필수적이지 않습니다. 역전파는 활성화 함수의 제한된 도함수를 취해야 하는 복잡한 수치 절차가 필요하다고 말하는 것으로 충분합니다.
가중치를 변경하는 이 방법을 일반화된 델타 규칙이라고 합니다. 일반화된 델타 규칙 사용과 관련된 두 가지 필수 매개변수가 있습니다. 첫 번째는 추진력으로, 각 단위 내의 가중치가 향하는 "방향"을 변환하는 경향을 정의합니다.
즉, 각 무게는 더 크거나 더 작게 받았는지 기억하고 운동량은 동일한 방향으로 유지하려고 시도합니다. 모멘텀이 큰 네트워크는 가중치를 역전시키는 데 필요한 새로운 훈련 인스턴스에 느리게 반응합니다. 모멘텀이 낮으면 가중치가 더 개방적으로 진동할 수 있습니다.
학습 비용은 가중치가 변경되는 속도를 제어합니다. 학습 비용에 대한 가장 좋은 방법은 크게 시작하여 네트워크가 훈련될 때 천천히 줄이는 것입니다. 원래 가중치는 무작위이므로 높은 진동은 최상의 가중치 부근에 도달하는 데 유리합니다. 그러나 네트워크가 최적의 솔루션에 가까워질수록 네트워크가 일반적인 최적 가중치로 미세 조정할 수 있도록 학습 비용을 줄여야 합니다.