이상치(Outlier)의 정의
이상치(Outlier)는 나머지 데이터 객체들과 본질적으로 크게 다른 데이터 객체를 의미하며, 마치 다른 메커니즘에 의해 생성된 것처럼 보이는 값을 말합니다. 설명의 편의를 위해 이상치가 아닌 일반적인 데이터 객체를 '정상(normal)' 또는 기대되는 데이터로 정의할 수 있으며, 이상치는 통상 '비정상(abnormal)' 데이터로 규정됩니다.
즉, 이상치는 주어진 클래스나 클러스터에 속하기 어려운 데이터 요소로, 다른 데이터 객체들의 일반적인 행동 양식과 확연히 구분되는 특성을 지닙니다. 이러한 데이터를 분석하는 것은 숨겨진 지식을 발굴하는 데 매우 중요한 역할을 합니다.
이상치와 노이즈(Noise)의 차이
이상치는 노이즈(noise)와 다릅니다. 노이즈란 계산된 변수에서 발생하는 무작위적인 오류(random error) 또는 변동(variance)을 뜻합니다. 일반적으로 노이즈는 이상치 탐색 같은 데이터 분석에서 중요한 대상이 아니며, 오히려 분석의 정확도를 떨어뜨리는 요인으로 간주됩니다.
예를 들어 신용카드 사기 탐지에서 사용자의 구매 행동은 하나의 확률 변수로 모델링될 수 있습니다. 사용자는 어느 날 평소보다 비싼 점심을 먹거나, 평소보다 커피를 한 잔 더 사는 등 '무작위 오류' 또는 '변동'처럼 보이는 노이즈 거래(noise transaction)를 만들어낼 수 있습니다.
이런 거래들은 이상치로 취급해서는 안 됩니다. 만약 이를 이상치로 판단한다면, 카드사는 해당 거래를 일일이 확인하는 데 막대한 비용을 지출하게 되고, 잦은 오탐(false alarm)으로 사용자에게 불편을 주어 고객을 잃을 위험도 있습니다. 따라서 다른 데이터 분석 및 데이터 마이닝 작업과 마찬가지로, 이상치 탐색에 앞서 노이즈를 먼저 제거하는 것이 필수적입니다.
이상치가 중요한 이유
현실 세계의 많은 데이터베이스에는 이상치가 포함되어 있거나, 결측치·익명 데이터·오류 데이터가 섞여 있는 경우가 많습니다. 일부 클러스터링 알고리즘은 이런 데이터에 민감하게 반응하여 품질이 낮은 클러스터를 형성할 수 있습니다.
이상치가 주목받는 이유는, 그것이 나머지 데이터와 동일한 구조·메커니즘에서 생성되지 않았을 가능성이 있기 때문입니다. 따라서 이상치 탐색에서는 발견된 이상치가 실제로 다른 메커니즘에 의해 만들어졌음을 정당화(justify)하는 과정이 반드시 필요합니다.
이를 위해 나머지 데이터에 대해 여러 가지 가설을 세우고, 탐지된 이상치가 그 가설들을 본질적으로 위반한다는 것을 입증하는 방식이 활용됩니다.
이상치 탐색과 신규성 탐지(Novelty Detection)
이상치 탐색은 새로운 데이터셋에서 수행되는 신규성 탐지(novelty detection)와도 밀접한 관련이 있습니다. 예를 들어 새로운 콘텐츠가 지속적으로 유입되는 소셜 미디어 플랫폼을 관찰할 때, 신규성 탐지를 통해 새로운 주제나 트렌드를 적시에 파악할 수 있습니다.
새로운 주제는 처음에는 이상치의 형태로 나타나는 경우가 많습니다. 이처럼 이상치 탐색과 신규성 탐지는 모델링 및 탐지 기법 면에서 상당한 유사성을 공유합니다.
그러나 두 개념 사이에는 결정적인 차이점이 존재합니다. 신규성 탐지에서는 새로운 주제가 확인된 후, 이후의 유사 인스턴스들이 더 이상 이상치로 분류되지 않도록 해당 주제를 일반 행동 모델에 통합합니다. 반면 이상치 탐색은 비정상적인 값 자체를 식별하고 분석하는 데 초점을 맞춥니다.