분류(Classification)는 데이터 인스턴스가 어느 집단에 속하는지 예측하는 데 사용되는 데이터 마이닝 기법입니다. 분류는 두 단계로 진행됩니다. 첫 번째 단계에서는 미리 정의된 데이터 클래스의 집합을 설명하는 모델을 구축하며, 이 모델은 속성(attribute)으로 정의된 데이터베이스 튜플(tuple)을 분석하여 만들어집니다.
분류란 새롭게 제시된 객체의 특징을 분석하여 미리 정의된 클래스 중 하나에 배정하는 작업입니다. 분류 규칙을 학습하려면 시스템이 예측 속성으로부터 클래스를 예측하는 규칙을 스스로 발견해야 하므로, 먼저 각 클래스에 대한 조건을 표현해야 합니다. 또한 시스템이 특정 사례가 어떤 클래스에 해당하는지 예측할 수 있도록, 속성값이 이미 알려진 사례나 튜플을 학습 데이터로 제공받아야 합니다.
클래스가 정의되면 시스템은 분류를 지배하는 규칙을 추론해야 하며, 이를 위해 각 클래스의 표현 방식을 발견할 수 있어야 합니다. 이때 클래스에 대한 기술(description)은 훈련 집합의 예측 속성만을 반영해야 하며, 긍정 예(positive example)는 모두 만족하지만 부정 예(negative example)는 만족하지 않도록 작성되어야 합니다. 즉, 규칙의 정의가 한 클래스의 모든 긍정 예를 포괄하면서 부정 예는 하나도 포함하지 않을 때 그 규칙은 올바른 것으로 판단됩니다.
베이지안 분류(Bayesian Classification)란?
베이지안 분류기는 통계적(statistical) 분류기입니다. 주어진 샘플이 특정 클래스에 속할 확률을 포함하여 클래스 소속 확률을 예측할 수 있으며, 대규모 데이터베이스에 적용할 경우에도 높은 효율성과 빠른 처리 속도를 보이는 것으로 알려져 있습니다.
나이브 베이지안 분류기의 가정
나이브 베이지안(Naïve Bayesian) 분류기는 한 속성값이 특정 클래스에 미치는 영향이 다른 속성값들과 서로 독립적이라고 가정합니다. 이러한 가정을 클래스 조건부 독립(class conditional independence)이라고 부릅니다. 이 가정은 실제 데이터에서 항상 성립하지는 않지만 계산을 크게 단순화하기 위해 도입된 것으로, 그래서 '나이브(순진한)'라는 이름이 붙었습니다.
베이즈 정리(Bayes Theorem)
X를 하나의 데이터 튜플이라고 합시다. 베이지안 방법에서 X는 '증거(evidence)'로 취급됩니다. 그리고 H를 어떤 가설, 예컨대 '데이터 튜플 X가 특정 클래스 C에 속한다'는 가설이라고 합시다. 이때 우리가 구하고자 하는 것은 P(H|X)이며, 이는 관찰된 데이터 튜플 X라는 '증거'가 주어졌을 때 가설 H가 성립할 확률을 의미합니다.
P(H|X)는 X에 대한 조건부 H의 사후 확률(posterior probability)입니다. 예를 들어, 데이터 튜플이 나이와 소득 속성으로 정의된 고객들이고, X가 '30세이며 소득이 20,000인 고객'이라고 가정해 봅시다. 그리고 H를 '해당 고객이 컴퓨터를 구매할 것이다'라는 가설이라고 한다면, P(H|X)는 고객의 나이와 소득이 주어졌을 때 고객 X가 컴퓨터를 구매할 확률을 나타냅니다.
P(H)는 H의 사전 확률(prior probability)입니다. 예를 들어, 이것은 나이, 소득 등 어떠한 다른 정보와도 무관하게 임의의 고객이 컴퓨터를 구매할 확률입니다. 사후 확률 P(H|X)는 X에 의존하지 않는 사전 확률 P(H)보다 더 많은 정보에 기반하여 산출됩니다.
마찬가지로 P(X|H)는 H에 대한 조건부 X의 확률로, 여기서는 고객 X가 30세이면서 소득이 20,000일 확률을 의미합니다.
P(H), P(X|H), P(X)는 주어진 데이터로부터 추정할 수 있습니다. 베이즈 정리는 이 세 값을 이용해 사후 확률 P(H|X)를 계산하는 방법을 제공하며, 다음과 같이 표현됩니다.
$$P(H|X)=\frac{P(X|H)P(H)}{P(X)}$$