역전파는 기울기 계산과 확률적 기울기 하강에서의 필요를 모두 포함하는 전체 프로세스를 정의합니다. 기술적으로 역전파는 네트워크의 수정 가능한 가중치와 관련된 네트워크 오류의 기울기를 계산하는 데 사용됩니다.
역전파의 특징은 그것이 훈련되는 서비스를 구현할 수 없을 때까지 네트워크를 증가시키기 위해 업데이트된 가중치를 계산하는 반복적이고 재귀적이며 효과적인 접근 방식입니다. Backpropagation을 위해서는 네트워크 설계 시 알려진 활성화 서비스의 파생물이 필요합니다.
역전파는 신경망 훈련에 널리 사용되며 네트워크 가중치에 대한 손실 함수를 계산합니다. 다층 신경망을 사용한 서비스와 입출력 매핑에 대한 내부 설명을 찾아보세요.
네트워크의 모든 가중치에 대한 기울기 손실 함수 계산을 지원하는 인공 네트워크 훈련의 표준 형식입니다. 역전파 알고리즘은 연쇄 규칙 방식을 통해 신경망을 보다 효과적으로 훈련시키는 데 사용됩니다.
이 기울기는 오류를 최소화하는 가중치를 찾기 위해 간단한 확률적 기울기 하강 알고리즘에서 사용됩니다. 오류는 출력 노드에서 내부 노드로 역방향으로 전파됩니다.
역전파의 훈련 알고리즘은 다음과 같은 4단계를 포함합니다 -
-
가중치 초기화 − 일부 작은 임의 값이 할당됩니다.
-
피드포워드 − 각 유닛 X는 입력 신호를 수신하고 이 신호를 각 은닉 유닛 Z1에 전송합니다. , Z2 ,... Zn . 각 은닉 유닛은 활성화 함수를 계산하고 신호 Z1를 보냅니다. 각 출력 유닛에. 출력 유닛은 활성화 함수를 계산하여 주어진 입력 패턴의 응답을 형성합니다.
-
오류의 역전파 − 각 출력 단위는 활성화 Yk를 비교합니다. 목표 값 Tk 해당 장치에 대한 관련 오류를 확인합니다. 오류를 기반으로 합니다. $\delta$k (K =1, ... . m)이 계산되고 출력 단위 Yk에서 오류를 분산하는 데 사용됩니다. 이전 레이어의 모든 유닛으로 돌아갑니다. 마찬가지로 인자 $\delta$j (j =1, ... . p)는 각 은닉 유닛 Zj에 대해 비교됩니다. .
-
가중치와 편향을 업데이트할 수 있습니다.
역전파 유형
다음과 같은 두 가지 유형의 역전파가 있습니다 -
정적 역전파 − 이러한 유형의 역전파에서는 정적 입력의 매핑으로 인해 정적 출력이 생성됩니다. 광학 문자 인식과 같은 정적 분류 문제를 해결하는 데 사용됩니다.
반복적인 역전파 - Recurrent Propagation은 특정 결정값 또는 임계값이 획득될 때까지 정방향 또는 유도됩니다. 특정 값 이후에는 오류가 평가되어 역방향으로 전파됩니다.