이상 탐지(anomaly detection)는 다수의 객체와 뚜렷하게 다른 객체를 발견하는 것이 목적인 데이터 분석 기법입니다. 이상 객체는 흔히 아웃라이어(outlier, 이상치)라고 불리는데, 데이터 산점도(scatter plot)에서 대부분의 데이터 포인트로부터 멀리 떨어진 위치에 있기 때문입니다.
또한 이상 탐지는 편차 탐지(deviation detection)라고도 합니다. 이상 객체의 속성값이 예상되는 값이나 일반적인 속성값에서 크게 벗어나기 때문입니다. 여러 의미에서 이례적인 존재라는 점에서 예외 마이닝(exception mining)이라는 용어로 불리기도 합니다.
이상 탐지의 주요 적용 분야
1. 사기 탐지(Fraud Detection)
신용카드 도난범의 구매 행동은 원래 카드 소유자의 소비 패턴과 다릅니다. 신용카드 회사는 도난 특유의 구매 패턴을 찾거나 평소와 다른 행동 변화를 감지하여 도난을 식별하려고 하며, 유사한 방법이 다른 유형의 사기 탐지에도 활용됩니다.
2. 침입 탐지(Intrusion Detection)
컴퓨터 시스템과 네트워크에 대한 공격은 안타깝게도 매우 흔합니다. 컴퓨터나 네트워크를 마비시키려는 공격처럼 눈에 띄는 공격도 있지만, 몰래 데이터를 수집하는 공격처럼 탐지하기 어려운 공격도 있습니다. 시스템과 네트워크를 지속적으로 관찰해 비정상적인 행동을 포착하면 이러한 침입의 상당 부분을 식별할 수 있습니다.
3. 생태계 교란(Ecosystem Disturbances)
현실 세계에는 인간에게 중대한 영향을 미치는 자연 현상이 존재합니다. 허리케인, 홍수, 가뭄, 폭염, 산불 등이 대표적인 예입니다. 이상 탐지의 목표는 이러한 사건이 발생할 가능성을 예측하고 그 원인을 규명하는 것입니다.
4. 공중 보건(Public Health)
일부 국가에서는 병원과 의료 기관이 각종 통계를 국가 기구에 보고하여 추가 분석에 활용합니다. 예를 들어 한 도시의 아이들이 홍역과 같은 특정 질병에 대해 예방접종을 받았다면, 여러 병원에 걸쳐 환자가 산발적으로 나타나는 것은 이상 사건이며, 해당 도시의 예방접종 프로그램에 문제가 있음을 시사할 수 있습니다.
5. 의학(Medicine)
특정 환자에게 나타나는 비정상적인 증상이나 검사 결과는 잠재적인 건강 문제를 의미할 수 있습니다. 다만 어떤 검사 결과가 이상인지는 나이, 성별 등 환자의 여러 특성에 따라 달라집니다. 또한 결과를 이상으로 분류하면 불필요한 추가 검사 비용이 발생할 수 있고, 반대로 실제 질환을 놓치면 방치된 상태로 환자에게 해를 끼칠 수 있으므로 신중한 판단이 필요합니다.
데이터 전처리로서의 이상 탐지
최근에는 이상 자체가 분석 대상인 소프트웨어 덕분에 이상 탐지에 대한 관심이 높아졌지만, 역사적으로 이상 탐지는 일반적인 데이터 객체의 분석 품질을 높이는 보조 기법으로 여겨져 왔습니다.
예를 들어 소수의 아웃라이어만 있어도 값 집합의 평균과 표준편차가 왜곡되거나, 군집화(clustering) 알고리즘이 생성하는 군집 결과가 달라질 수 있습니다. 따라서 이상 탐지는 데이터 전처리(data preprocessing)의 중요한 요소로 활용됩니다.