방사형 기저 함수(RBF) 네트워크의 개요
방사형 기저 함수(Radial Basis Function, RBF) 네트워크는 널리 사용되는 피드포워드(feed-forward) 신경망의 한 유형입니다. 입력층을 제외하면 두 개의 층으로 구성되며, 은닉 유닛이 계산을 수행하는 방식에서 다층 퍼셉트론(multilayer perceptron)과 차별화됩니다.
은닉 유닛의 작동 원리
각 은닉 유닛은 입력 공간상의 특정 지점을 정의하며, 주어진 인스턴스에 대한 출력(활성화 값)은 해당 지점과 인스턴스 사이의 거리에 따라 결정됩니다. 두 점이 가까울수록 활성화 값이 더 커집니다.
이러한 메커니즘은 비선형 변환 함수를 사용해 거리를 유사도(similarity) 척도로 변환하는 방식으로 구현됩니다. 일반적으로 각 은닉 유닛마다 폭(width)을 다르게 설정할 수 있는 종 모양의 가우시안(Gaussian) 활성화 함수가 이 목적으로 활용됩니다. 특정 은닉 유닛이 동일한 활성화 값을 만드는 인스턴스 공간상의 점들이 초구(hypersphere) 또는 초타원체(hyperellipsoid)를 형성하기 때문에, 이러한 은닉 유닛들을 RBF라고 부릅니다.
출력층의 구조
RBF 네트워크의 출력층은 다층 퍼셉트론과 유사하게 작동합니다. 즉, 은닉 유닛들의 출력에 대한 선형 결합(linear combination)을 계산하고, 분류 문제에서는 그 결과를 시그모이드(sigmoid) 함수에 통과시킵니다.
학습 파라미터와 학습 방법
이러한 네트워크가 학습하는 파라미터는 크게 두 가지입니다. 첫째는 RBF의 중심(center)과 폭(width), 둘째는 은닉층에서 얻은 출력들의 선형 결합을 구성하는 데 사용되는 가중치입니다. 다층 퍼셉트론에 비해 중요한 장점은 첫 번째 파라미터 그룹을 두 번째 그룹과 독립적으로 결정하면서도 정확한 분류기를 만들 수 있다는 점입니다.
첫 번째 파라미터 그룹을 결정하는 대표적인 방법은 클러스터링(clustering)입니다. 간단한 k-평균(k-means) 클러스터링 알고리즘을 클래스별로 독립적으로 적용하면, 각 클래스마다 k개의 기저 함수를 얻을 수 있습니다.
두 번째 파라미터 그룹은 첫 번째 파라미터를 고정한 상태에서 학습됩니다. 이 과정은 선형 회귀나 로지스틱 회귀 같은 방법을 활용해 간단한 선형 분류기를 학습하는 것을 포함합니다. 은닉 유닛 수가 학습 인스턴스 수보다 훨씬 적다면 이 학습은 매우 빠르게 수행될 수 있습니다.
RBF 네트워크의 한계
RBF 네트워크의 한계는 거리 계산에서 모든 속성이 동등하게 고려되기 때문에, 전체 최적화 과정에 속성 가중치 파라미터를 포함하지 않는 한 각 속성에 동일한 가중치를 부여한다는 점입니다.
따라서 다층 퍼셉트론과 달리 불필요한(irrelevant) 속성을 효율적으로 처리하지 못합니다. 서포트 벡터 머신(SVM) 역시 유사한 문제를 안고 있습니다.
서포트 벡터 머신과의 관계
가우시안 커널(즉, 'RBF 커널')을 사용하는 서포트 벡터 머신은 사실상 RBF 네트워크의 한 형태로 볼 수 있습니다. 이 경우 각 학습 인스턴스마다 하나의 함수가 중심으로 배치되고, 모든 기저 함수는 동일한 폭을 가지며, 출력들은 최대 마진 초평면(maximum-margin hyperplane)을 계산하는 방식으로 선형적으로 결합됩니다. 그 결과 일부 RBF만이 0이 아닌 가중치를 갖게 되는데, 바로 이 함수들이 서포트 벡터를 정의합니다.