이상 탐지(Anomaly Detection)는 데이터 속에서 정상 패턴에서 크게 벗어난 객체를 찾아내는 기법입니다. 개념은 단순해 보이지만, 실제로 설계하고 적용할 때는 여러 가지 중요한 문제를 신중하게 고려해야 합니다. 이 글에서는 이상 탐지를 이해하는 데 꼭 알아야 할 다섯 가지 핵심 과제를 살펴봅니다.
1. 이상을 정의하는 데 사용되는 속성의 수
어떤 객체가 이상(anomaly)인지 여부는 해당 객체의 속성 값이 비정상적인지에 따라 결정됩니다. 그런데 하나의 객체는 여러 개의 속성을 가질 수 있으며, 일부 속성에서는 이상한 값을 보이지만 다른 속성에서는 평범한 값을 가질 수도 있습니다.
더 흥미로운 점은, 각 속성 값을 개별적으로 보면 전혀 이상하지 않더라도 객체 전체로는 이상할 수 있다는 사실입니다. 예를 들어, 키가 약 60cm(2피트)인 사람은 어린이에게 흔히 볼 수 있고, 몸무게가 약 136kg(300파운드)인 사람도 드물지 않습니다. 하지만 키 60cm에 몸무게 136kg인 사람이라면 명백히 비정상입니다.
따라서 이상에 대한 정의는 여러 속성의 값을 어떻게 조합하여 객체의 이상 여부를 판단할 것인지 명확히 규정해야 합니다. 특히 데이터의 차원(dimensionality)이 클 때 이 문제는 더욱 중요해집니다.
2. 전역적 관점 vs. 지역적 관점
어떤 객체는 전체 데이터 집합을 기준으로 보면 특이해 보이지만, 자신이 속한 지역적 이웃(local neighborhood) 안에서는 전혀 특이하지 않을 수 있습니다. 예를 들어, 키가 약 195cm(6피트 5인치)인 사람은 일반 인구 집단에서는 매우 큰 편이지만, 프로 농구 선수들 사이에서는 평범한 키입니다.
이처럼 이상 판단은 '무엇을 기준으로 비교하는가'에 따라 결과가 크게 달라지므로, 분석 목적에 맞는 비교 관점을 선택하는 것이 중요합니다.
3. 이상 정도의 평가
일부 방법론은 객체가 이상인지 아닌지를 이진(binary) 방식으로만 판단합니다. 즉, "이상이다" 또는 "이상이 아니다"로만 구분하는 것이죠. 그러나 현실에서는 어떤 객체가 다른 객체보다 더 강한 이상일 수 있습니다.
따라서 객체가 얼마나 이상한지를 정량화한 점수, 즉 이상 점수(anomaly score) 또는 아웃라이어 점수(outlier score)를 함께 제공하는 것이 바람직합니다. 이를 통해 분석자는 이상의 심각도 순으로 우선순위를 정하고 체계적으로 대응할 수 있습니다.
4. 한 번에 하나씩 vs. 한 번에 여러 개 탐지
일부 기법은 이상을 한 번에 하나씩 처리합니다. 가장 이상도가 높은 객체를 찾아 제거한 뒤 같은 과정을 반복하는 방식입니다. 반면 다른 기법들은 이상 객체들의 집합을 한꺼번에 식별합니다.
하나씩 탐지하는 기법은 마스킹(masking) 문제에 취약합니다. 여러 이상이 동시에 존재하면 서로의 존재를 가려서 오히려 이상이 발견되지 않는 현상입니다. 반대로 여러 이상점을 한 번에 찾는 기법은 스왐핑(swamping) 문제를 겪을 수 있는데, 이는 정상 객체를 이상치로 잘못 판정하는 경우입니다. 모델 기반(model-based) 방법에서는 이상치가 데이터 모델 자체를 왜곡하기 때문에 이러한 현상이 더 두드러질 수 있습니다.
5. 효율성
이상 탐지 기법마다 계산 비용에서 큰 차이가 납니다. 분류(classification) 기반 기법은 분류 모델을 학습하는 데 상당한 자원이 필요하지만, 일단 모델이 만들어지면 새로운 객체를 판별하는 비용은 저렴합니다. 마찬가지로 통계적(statistical) 기법은 통계 모델을 생성한 후 일정한 시간(constant time) 안에 객체를 분류할 수 있습니다.
마무리
이상 탐지는 단순히 "특이한 것을 찾는다"는 개념을 넘어, 속성의 조합, 비교 관점, 이상의 정도, 탐지 방식, 계산 효율 등 다양한 요소를 종합적으로 고려해야 하는 작업입니다. 이러한 문제들을 미리 이해하고 있으면 데이터 특성과 분석 목적에 가장 적합한 이상 탐지 기법을 선택하는 데 큰 도움이 됩니다.