통계적 접근 방식의 개념
통계적 접근 방식(statistical approach)은 모델 기반(model-based) 방법론의 대표적인 예입니다. 즉, 데이터에 대한 모델을 먼저 생성한 뒤, 각 객체가 그 모델에 얼마나 잘 부합하는지를 기준으로 평가하는 방식입니다.
대부분의 통계적 이상치 탐지 기법은 확률 분포 모델을 구축하고, 각 객체가 해당 모델 하에서 얼마나 나타날 가능성이 낮은지를 살펴보는 데 기반합니다. 여기서 이상치(outlier)란 데이터의 확률 분포 모델에 대해 낮은 확률을 가지는 객체를 의미합니다.
확률 분포 모델은 사용자가 정의한 분포의 매개변수를 데이터로부터 계산함으로써 만들어집니다. 예를 들어, 데이터가 가우시안(정규) 분포를 따른다고 가정하면, 데이터의 평균과 표준편차를 계산하여 기본 분포의 매개변수를 추정할 수 있고, 이를 통해 각 객체가 해당 분포에서 나타날 확률을 산출할 수 있습니다.
비조화 검정(Discordancy Test)
통계학 문헌에서는 이상치를 '비조화 관측값(discordant observation)'이라고 부르며, 이를 식별하기 위한 다양한 통계 검정 방법이 개발되어 왔습니다. 다만 일부 비조화 검정은 매우 전문적이라, 이를 올바르게 적용하려면 상당히 깊이 있는 통계 지식이 요구됩니다.
통계적 접근 방식의 주요 고려 사항
1. 데이터 집합의 분포 식별
많은 종류의 데이터는 가우시안, 포아송, 이항 분포처럼 소수의 일반적인 분포로 설명할 수 있지만, 비표준적인 분포를 따르는 데이터 집합 역시 실무에서 흔하게 발견됩니다. 만약 잘못된 모델을 선택하면, 객체가 오류적으로 이상치로 판별될 위험이 있습니다.
예를 들어, 데이터가 가우시안 분포에서 나온 것으로 모델링했지만, 실제로는 평균에서 멀리 떨어진 값이 나타날 확률이 가우시안 분포보다 큰 분포에서 나왔을 수 있습니다. 이러한 특성을 지닌 분포는 실제로 자주 등장하며, 두꺼운 꼬리 분포(heavy-tailed distribution)라고 불립니다.
2. 사용되는 속성의 수
일부 통계적 이상치 탐지 기법은 단일 속성(univariate)에만 적용할 수 있지만, 다변량(multivariate) 데이터를 대상으로 하는 기법들도 존재합니다.
3. 분포의 혼합(Mixture of Distributions)
데이터를 여러 분포의 혼합으로 모델링하고, 그 모델을 기반으로 이상치 탐지 방식을 구축할 수도 있습니다. 이러한 모델은 잠재적으로 더 유연하지만, 학습과 활용이 복잡하다는 단점이 있습니다. 예컨대 어떤 객체를 이상치로 판정하기에 앞서, 구성 분포들을 먼저 식별해야 합니다.
통계적 접근 방식의 장단점
통계적 이상치 탐지는 분포 매개변수 추정 같은 표준 통계 기법에 기반하므로 이론적으로 탄탄한 기반을 갖추고 있습니다. 데이터와 적용할 검정 유형에 대한 충분한 사전 지식이 있다면 매우 효과적으로 작동할 수 있습니다.
특히 단일 속성에 대한 통계적 이상치 검정은 종류가 다양합니다. 반면 다변량 데이터에 적용할 수 있는 선택지는 상대적으로 적으며, 고차원 데이터에서는 성능이 저하될 수 있다는 점을 유의해야 합니다.