역전파는 기울기 계산과 확률적 기울기 하강에서의 필요를 모두 포함하는 전체 절차를 정의합니다. 기술적으로 역전파는 네트워크의 수정 가능한 가중치에 대한 네트워크 오류의 기울기를 계산하는 데 사용됩니다.
역전파의 특징은 훈련되는 기능을 수행할 수 없을 때까지 네트워크를 향상시키기 위해 업데이트된 가중치를 계산하는 반복적이고 재귀적이며 효과적인 접근 방식입니다. Backpropagation을 위해서는 웹 디자인 시 알려진 활성화 서비스의 파생물이 필요합니다.
역전파는 일반적으로 신경망 훈련에 사용되며 네트워크 가중치와 관련된 손실 함수를 계산합니다. 다층 신경망과 함께 작동하며 입출력 매핑의 내부 표현을 관찰합니다.
인공 네트워크 훈련의 표준 형식으로 네트워크의 모든 가중치에 대한 기울기 손실 함수를 계산하는 데 도움이 됩니다. 역전파 알고리즘은 연쇄 규칙 방법을 통해 신경망을 보다 효과적으로 훈련시키는 데 사용됩니다. 각 forward 이후에 backpropagation은 모델의 인수를 조정하여 웹을 통한 역방향 전달을 구현합니다.
이 기울기는 오류를 최소화하는 가중치를 찾기 위해 단순 확률적 기울기 하강 알고리즘에서 사용됩니다. 오류는 출력 노드에서 내부 노드로 역방향으로 전파됩니다.
역전파는 훈련 튜플의 데이터 수집을 반복적으로 처리하여 모든 튜플에 대한 네트워크 표시기를 실제 알려진 목표 값과 비교함으로써 이해합니다. 목표 값은 학습 튜플의 알려진 클래스 레이블(분류 문제의 경우) 또는 연속 값(예측의 경우)일 수 있습니다.
각 훈련 튜플에 대해 가중치는 네트워크의 예측과 실제 목표 값 사이의 평균 제곱 오차를 최소화하도록 수정됩니다. 이러한 수정은 "역방향" 방향, 즉 출력 계층에서 각 은닉 계층을 거쳐 첫 번째 은닉 계층까지 이루어집니다(따라서 이름 역전파). 보호되지는 않지만 일반적으로 가중치가 최종적으로 결합되고 학습 프로세스가 종료됩니다.
역전파 유형
다음과 같은 두 가지 유형의 역전파가 있습니다. -
정적 역전파 − 이러한 유형의 역전파에서는 정적 입력의 매핑으로 인해 정적 출력이 생성됩니다. 광학 문자 인식과 같은 정적 분류 문제를 해결할 수 있습니다.
반복적인 역전파 - 특정 결정값 또는 임계값에 도달할 때까지 반복 전파가 진행되거나 수행됩니다. 특정 값 이후에 버그가 계산되어 역방향으로 전파됩니다.