조건부 확률(Conditional Probability)은 P(A|B)로 표기하며, 사건 'B'가 이미 발생했다는 조건 하에서 사건 'A'가 발생할 확률을 의미합니다.
조건부 확률의 기본 공식
P(A|B) = P(A∩B) / P(B)
즉, 전체 표본 공간이 아닌 사건 B가 발생한 경우만을 새로운 표본 공간으로 삼고, 그 안에서 사건 A가 일어날 비율을 계산하는 것입니다.
베이즈 정리(Bayes' Theorem)란?
베이즈 정리는 서로 종속 관계에 있는 사건들의 발생 확률 간의 관계를 나타내는 공식으로, 조건부 확률들 사이의 관계를 설명합니다.
사건 A와 사건 B가 주어졌을 때, 베이즈 정리에 따르면 다음과 같습니다.
P(A|B) = {P(B|A) × P(A)} / P(B)
여기서 P(A)를 사전 확률(prior), P(B|A)를 우도(likelihood), P(A|B)를 사후 확률(posterior)이라 부릅니다. 즉, 새로운 증거 B를 관찰한 뒤 사건 A에 대한 확률을 갱신하는 것이 베이즈 정리의 핵심이며, 스팸 메일 필터, 의학 진단, 머신러닝 분류기 등 다양한 분야에서 활용됩니다.
베이즈 정리 공식 유도하기
베이즈 정리를 유도하기 위해 조건부 확률의 기본 공식을 사용합니다.
P(A|B) = P(A∩B) / P(B) —— ① P(B|A) = P(B∩A) / P(A) —— ②
교집합은 교환 법칙이 성립하므로 A∩B와 B∩A는 동일합니다. 따라서 식 ②의 B∩A를 A∩B로 치환할 수 있습니다.
P(B|A) = P(A∩B) / P(A) P(B|A) × P(A) = P(A∩B) —— ③
이제 식 ③에서 구한 A∩B의 값을 식 ①에 대입하면 베이즈 정리의 공식이 완성됩니다.
P(A|B) = {P(B|A) × P(A)} / P(B)
곱셈 법칙(Product Rule)
식 ③에 나타난 곱셈 법칙은 두 사건이 동시에 발생할 확률이, 한 사건의 조건부 확률과 다른 사건(증거 사건)의 발생 확률의 곱과 같다는 것을 의미합니다.
P(A∩B) = P(A|B) × P(B)
곱셈 법칙에서 파생되는 중요한 성질
곱셈 법칙으로부터 다음 두 가지 중요한 결과를 유도할 수 있습니다.
1. A⊆B인 경우 — A가 B의 부분집합, 즉 집합 A의 모든 원소가 집합 B에 포함될 때:
P(A∩B) = P(A), 따라서 P(A|B) = P(A) / P(B)
2. B⊆A인 경우 — B가 A의 부분집합, 즉 집합 B의 모든 원소가 집합 A에 포함될 때:
P(A∩B) = P(B), 따라서 P(A|B) = 1
세 개 이상의 사건으로 확장된 베이즈 정리
세 개 이상의 상호 종속적인 사건들이 존재하는 경우, 이들 사이의 조건부 확률은 다음과 같은 일반화된 관계를 가집니다.
P(X₁|Y) = P(X₁)·P(Y|X₁) / [P(X₁)·P(Y|X₁) + P(X₂)·P(Y|X₂) + P(X₃)·P(Y|X₃) + …]
이 일반형은 여러 가설 중 하나가 참일 때 관찰된 데이터 Y를 바탕으로 각 가설의 확률을 계산하는 데 사용되며, 나이브 베이즈(Naive Bayes) 분류기 등의 이론적 기반이 됩니다.