널리 사용되는 유형의 피드포워드 네트워크는 RBF(Radial Basis Function) 네트워크입니다. 그것은 입력 레이어를 세지 않고 두 개의 레이어를 가지고 있으며 은닉 유닛이 계산을 구현하는 방식에서 다층 퍼셉트론과 대조됩니다.
각 은닉 유닛은 입력 공간의 특정 지점과 해당 지점과 다른 지점인 인스턴스 사이의 거리를 기반으로 주어진 인스턴스에 대한 출력 또는 활성화를 크게 정의합니다. 이 두 지점이 가까울수록 활성화가 더 잘 됩니다.
이것은 거리를 유사성 측정으로 수정하기 위해 비선형 변환 함수를 사용하여 구현됩니다. 은닉 유닛마다 너비가 다를 수 있는 종 모양의 가우시안 활성화 서비스가 일반적으로 이 목적을 위해 사용됩니다. 은닉 유닛은 주어진 은닉 유닛이 유사한 활성화를 만드는 인스턴스 영역의 포인트가 초구 또는 초타원체를 형성하기 때문에 RBF로 알려져 있습니다.
RBF 구조의 출력 레이어는 다층 퍼셉트론의 출력 레이어와 유사합니다. - 은닉 유닛 출력의 선형 세트를 취하고 분류 문제에서 시그모이드 함수를 통과합니다.
이러한 네트워크가 이해하는 매개변수는 RBF의 중심과 너비, 그리고 은닉층에서 얻은 출력의 선형 세트를 설계하는 데 사용되는 가중치입니다. 다층 퍼셉트론에 비해 중요한 이점은 매개변수의 첫 번째 그룹이 두 번째 그룹과 독립적으로 결정되고 정확한 분류기를 만들 수 있다는 것입니다.
첫 번째 매개변수 그룹을 결정하는 한 가지 방법은 클러스터링을 사용하는 것입니다. 간단한 k-means 클러스터링 알고리즘을 적용하여 각 클래스를 독립적으로 클러스터링하여 각 클래스에 대한 k-basis 함수를 얻을 수 있습니다.
두 번째 매개변수 그룹은 첫 번째 매개변수를 일정하게 유지함으로써 이해됩니다. 여기에는 선형 또는 로지스틱 회귀와 같은 접근 방식 중 하나를 사용하여 간단한 선형 분류기를 배우는 것이 포함됩니다. 훈련 인스턴스보다 은닉 유닛이 훨씬 적은 경우 빠르게 수행할 수 있습니다.
RBF 네트워크의 한계는 속성 가중치 매개변수가 전체 최적화 프로세스에 포함되지 않는 한 거리 계산에서 모두 동등하게 간주되기 때문에 각 속성에 유사한 가중치를 제공한다는 것입니다.
따라서 다층 퍼셉트론에 대해 부적절한 속성을 효율적으로 처리할 수 없습니다. 서포트 벡터 머신은 비슷한 문제를 공유합니다. 가우시안 커널(즉, "RBF 커널")이 있는 지원 벡터 머신은 RBF 네트워크의 명확한 방법으로, 하나의 함수가 각 훈련 인스턴스에 집중되고 모든 기저 함수의 너비가 비슷하며 출력은 다음을 계산하여 선형으로 병합됩니다. 최대 마진 초평면. 이것은 일부 RBF가 지지 벡터를 정의하는 0이 아닌 가중치를 갖는 결과를 가져옵니다.