데이터 마이닝에서 이상치(Outlier)는 나머지 데이터와 현저하게 다른 패턴을 보이는 데이터 객체를 의미합니다. 이상치 분석은 사기 탐지, 침입 탐지, 이상 징후 감지 등 다양한 분야에서 핵심적인 역할을 하며, 이상치는 그 특성에 따라 크게 세 가지 유형으로 분류됩니다.
1. 전역 이상치(Global Outliers)
전역 이상치는 주어진 데이터셋에서 나머지 전체 데이터와 본질적으로 크게 벗어나 있는 데이터 객체를 말합니다. 흔히 포인트 이상(Point Anomaly)이라고도 불리며, 세 가지 유형 중 가장 단순하고 직관적인 형태입니다. 실제로 대다수의 이상치 탐지 기법은 이러한 전역 이상치를 발견하는 것을 목표로 설계되었습니다.
전역 이상치를 효과적으로 식별하기 위해서는 해당 응용 분야에 적합한 편차(deviation) 측정 기준을 정의하는 것이 중요합니다. 다양한 측정 방식이 제안되어 왔으며, 어떤 측정 기준을 사용하느냐에 따라 이상치 탐지 접근법 역시 여러 범주로 나뉩니다.
전역 이상치 탐지의 활용 예시
대표적인 활용 사례로 컴퓨터 네트워크의 침입 탐지(Intrusion Detection)를 들 수 있습니다. 예를 들어 특정 컴퓨터가 짧은 시간 동안 비정상적으로 많은 패킷을 전송하는 등 평소 통신 패턴과 전혀 다른 행동을 보인다면, 이를 전역 이상치로 간주하고 해당 컴퓨터를 해킹 피해 의심 대상으로 분류할 수 있습니다.
2. 맥락적 이상치(Contextual Outliers)
맥락적 이상치는 조건부 이상치(Conditional Outlier)라고도 불립니다. 이 유형은 특정 조건이나 문맥(context)이 주어졌을 때에만 다른 데이터 포인트들과 크게 벗어나 보이는 경우를 의미합니다. 즉, 같은 값이라도 어떤 맥락에서는 정상이지만, 다른 맥락에서는 이상치로 판별될 수 있습니다.
두 가지 속성 유형
맥락적 이상치 분석에서는 데이터 객체의 속성을 두 가지로 구분합니다.
- 맥락 속성(Contextual Attributes): 객체가 어느 위치 또는 상황에 놓여 있는지를 정의하는 속성입니다. 예를 들어 시간, 지리적 위치 등이 여기에 해당합니다.
- 행동 속성(Behavioral Attributes): 객체 자체의 특성을 나타내며, 해당 맥락 안에서 객체가 이상치인지를 판단하는 데 사용됩니다. 온도 데이터의 예에서는 온도, 습도, 기압 등이 행동 속성이 될 수 있습니다.
맥락적 이상치 분석을 활용하면 사용자가 여러 가지 맥락과 조건 하에서 이상치를 유연하게 판별할 수 있어, 다양한 응용 분야에서 매우 유용합니다.
지역 이상치(Local Outliers)와의 관계
맥락적 이상치는 밀도 기반(density-based) 이상치 분석 기법에서 도입된 지역 이상치 개념의 일반화된 형태입니다. 지역 이상치란 자신이 속한 국소 영역(local area)의 밀도와 현저하게 다른 밀도를 보이는 객체를 의미합니다.
흥미로운 점은 전역 이상치 탐지를 맥락적 이상치 탐지의 특수한 사례로 볼 수 있다는 것입니다. 즉, 맥락 속성 집합이 공집합(null)인 경우, 전체 데이터셋 자체가 하나의 맥락으로 작용하게 되며 이것이 곧 전역 이상치 탐지에 해당합니다.
3. 집단 이상치(Collective Outliers)
집단 이상치는 개별 데이터 포인트가 아니라 여러 데이터 포인트로 이루어진 집단 전체가 나머지 데이터셋과 크게 벗어나는 경우를 말합니다. 따라서 개별 데이터 객체 하나하나는 이상치가 아니더라도, 이들을 하나의 그룹으로 종합적으로 바라볼 때 이상치로 작동할 수 있습니다.
예를 들어 주식 거래 데이터에서 단일 거래는 정상 범위 내에 있더라도, 특정 시간대에 발생한 일련의 거래 묶음이 비정상적인 패턴을 보인다면 그 집단이 집단 이상치에 해당합니다.
집단 이상치 탐지의 핵심 요건
집단 이상치를 효과적으로 인식하기 위해서는 개별 데이터 객체들이 보이는 행동 간의 관계에 대한 배경 지식(background knowledge)이 반드시 필요합니다. 데이터 포인트들 사이의 연관성과 패턴을 이해해야만, 어떤 집단이 전체 데이터셋과 대비되는 이상 행동을 보이는지 판별할 수 있기 때문입니다.
마무리
정리하면, 데이터 마이닝의 이상치는 전역 이상치(전체 데이터와 비교해 크게 벗어난 단일 객체), 맥락적 이상치(특정 조건에서만 이상으로 판별되는 객체), 집단 이상치(개별적으로는 정상이지만 집단 전체로는 이상한 데이터 그룹)의 세 가지 유형으로 나눌 수 있습니다. 분석 목적과 데이터의 성격에 맞는 적절한 이상치 유형을 이해하는 것이 효과적인 이상치 탐지의 첫걸음입니다.