나이브 베이즈 분류기는 클래스 조건부 독립(class conditional independence) 가정을 전제로 동작합니다. 즉, 튜플의 클래스 레이블이 주어졌을 때 속성값들은 서로 조건부로 독립적이라고 간주하는 것입니다.
이 가정이 실제로 성립하면 나이브 베이즈 분류기는 다른 여러 분류기와 비교해도 경쟁력 있는 성능을 보이며, 결합 조건부 확률 분포를 표현할 수 있습니다.
베이지안 믿음 네트워크의 정의
베이지안 믿음 네트워크(Bayesian Belief Network, BBN)는 변수들의 부분 집합 사이에서 클래스 조건부 독립성을 표현할 수 있게 해줍니다. 또한 인과 관계의 그래프 구조를 지원하여 이 구조 위에서 학습을 수행할 수 있으며, 학습된 베이지안 믿음 네트워크는 분류 작업에 활용됩니다.
베이지안 믿음 네트워크는 믿음 네트워크(belief network), 베이지안 네트워크(Bayesian network), 확률 네트워크(probabilistic network) 등으로도 불립니다.
네트워크의 두 가지 구성 요소
믿음 네트워크는 다음 두 가지 요소로 표현됩니다.
1. 방향성 비순환 그래프(DAG)
그래프의 모든 노드는 하나의 확률 변수(random variable)를 나타냅니다. 변수는 이산형(discrete) 또는 연속형(continuous) 값을 가질 수 있습니다.
2. 조건부 확률 테이블(CPT)
각 노드에 대해 부모 노드와의 관계를 수치화한 조건부 확률 테이블이 함께 정의됩니다.
변수는 데이터에 명시된 속성에 대응할 수도 있고, 숨겨진 관계를 형성하는 것으로 여겨지는 “숨은 변수(hidden variable)”에 해당할 수도 있습니다. 예를 들어 의료 기록의 경우, 숨은 변수는 여러 증상을 종합하여 특정 질병을 식별하게 해주는 증후군(syndrome)을 나타낼 수 있습니다.
베이지안 믿음 네트워크의 주요 특징
도메인 지식의 그래픽 모델링
BBN은 그래픽 모델을 활용하여 특정 도메인에 대한 사전 지식(prior knowledge)을 체계적으로 포착하는 방법을 제공합니다. 네트워크를 통해 변수들 간의 인과적 의존 관계(causal dependency)를 인코딩할 수 있습니다.
구축 비용과 확장성의 균형
네트워크를 처음 구축하는 과정은 시간이 많이 걸리고 상당한 노력이 필요합니다. 하지만 일단 네트워크 구조가 확정되면, 새로운 변수를 추가하는 작업은 매우 간단합니다.
불완전한 데이터 처리 능력
베이지안 네트워크는 불완전한 레코드를 다루는 데 적합합니다. 속성값이 누락된 인스턴스는 해당 속성의 가능한 모든 값에 대해 확률을 합산하거나 적분함으로써 처리할 수 있습니다.
과대적합(Overfitting)에 대한 강건성
데이터가 확률적으로 사전 지식과 결합되기 때문에, 이 접근 방식은 과대적합(overfitting)을 방지하는 데 강점을 가집니다.
베이지안 믿음 네트워크의 응용 분야
믿음 네트워크는 다양한 잘 알려진 문제를 모델링하는 데 활용됩니다. 대표적인 예로 유전자 연관 분석(genetic linkage analysis)이 있는데, 이는 염색체 위에 유전자를 위치시키는 매핑 작업입니다. 유전자 연관 문제를 베이지안 네트워크 추론의 형태로 공식화하고 최신 알고리즘을 활용하면, 분석의 확장성이 크게 향상됩니다.
그 외에도 믿음 네트워크의 필요성 덕분에 혜택을 본 응용 분야는 다음과 같습니다.
- 컴퓨터 비전: 이미지 복원(image restoration), 입체 영상(stereo vision)
- 문서 및 텍스트 분석
- 의사결정 지원 시스템(decision support systems)
- 민감도 분석(sensitivity analysis)
다양한 응용 문제를 베이지안 네트워크 추론으로 환원할 수 있다는 점은 큰 장점입니다. 응용 분야마다 전용 알고리즘을 새로 개발해야 하는 부담을 줄여주기 때문입니다.