신경망(neural network)은 인간 뇌의 작동 방식을 모방하여 데이터 집합 속에 숨어 있는 근본적인 관계를 찾아내는 일련의 알고리즘입니다. 이러한 접근 방식에서 신경망은 생물학적 뉴런이든 인공 뉴런이든, 뉴런으로 이루어진 시스템을 정의합니다.
신경망은 인지 시스템의 학습 과정과 뇌의 신경학적 기능을 모델링한 분석 기법으로, 기존 정보를 바탕으로 학습(learning)이라 불리는 과정을 거친 뒤 다른 관측값을 통해 새로운 관측값을 예측할 수 있습니다. 신경망은 데이터 마이닝(data mining) 기법 중 하나로 분류됩니다.
언제 신경망이 유용할까?
신경망은 예측 변수(입력값, 독립변수)와 피예측 변수(출력값, 종속변수) 사이에 어떠한 관계라도 존재하는 거의 모든 상황에서 활용될 수 있습니다. 특히 그 관계가 '상관관계'나 '집단 간 차이'처럼 일반적인 통계 용어로 표현하기 어려운 복잡한 형태일 때 그 진가를 발휘합니다.
신경망의 구조와 학습 원리
신경망은 패턴의 사례를 식별하기 위해 사용되는 모의(시뮬레이션) 뉴런들의 네트워크입니다. 신경망은 네트워크 가중치(weight) 공간을 탐색하는 방식으로 학습을 진행합니다.
구조적으로 신경망은 서로 연결된 입출력 단위(input/output unit)들의 집합이며, 각 연결에는 고유한 가중치가 부여됩니다. 학습 과정에서 신경망은 입력 샘플의 정확한 클래스 레이블을 예측할 수 있도록 가중치를 지속적으로 조정해 나갑니다. 단위 간의 연결을 기반으로 학습이 이루어지기 때문에, 신경망 학습은 '연결주의 학습(connectionist learning)'이라고도 불립니다.
신경망의 한계
신경망은 긴 학습 시간이 필요하다는 단점이 있습니다. 또한 학습된 가중치 뒤에 숨은 상징적 의미를 사람이 해석하기 어려워 설명 가능성(interpretability)이 낮다는 평가를 받습니다. 이러한 특성 때문에 초기에는 데이터 마이닝 분야에서 큰 주목을 받지 못했습니다.
분류 작업에서의 강점
그럼에도 신경망이 분류(classification)에 유용한 데에는 분명한 이유가 있습니다.
- 잡음에 대한 높은 내성: 노이즈가 섞인 데이터 환경에서도 안정적으로 성능을 유지합니다.
- 일반화 능력: 학습 과정에서 보지 못한 새로운 패턴도 분류할 수 있습니다.
- 규칙 추출 알고리즘: 학습된 신경망에서 규칙을 추출하는 다양한 알고리즘이 개발되어 해석 가능성 문제를 보완하고 있습니다.
이러한 요소들이 결합되어 신경망은 데이터 마이닝의 분류 작업에서 강력한 도구로 자리 잡았습니다.
공학 분야에서의 두 가지 핵심 역할
공학 분야에서 신경망은 크게 두 가지 중요한 기능을 수행합니다. 하나는 패턴 분류기(pattern classifier), 다른 하나는 비선형 적응 필터(non-linear adaptive filter)입니다.
인공신경망(Artificial Neural Network, ANN)은 데이터로부터 함수, 즉 입출력 매핑(input/output map)을 구현하도록 학습하는 유연하고 대체로 비선형적인 시스템입니다. 여기서 '적응적(adaptive)'이라는 말은 시스템의 매개변수가 동작 중에 변경된다는 의미이며, 이 과정을 흔히 학습(training) 단계라고 부릅니다.
학습 단계가 끝나면 인공신경망의 매개변수는 고정되고, 시스템은 당면한 문제를 해결할 준비를 마칩니다. 이를 테스트(testing) 단계라고 합니다. 인공신경망은 성능을 향상시키거나 내재된 제약 조건을 만족시키기 위해 체계적이고 단계별 절차에 따라 구축되는데, 이러한 절차를 일반적으로 학습 규칙(learning rule)이라고 정의합니다.