클러스터링(군집화)은 지식 발견(Knowledge Discovery)을 위한 핵심 데이터 마이닝 기법 중 하나입니다. 탐색적 데이터 분석 방법의 일종으로, 여러 데이터 객체를 '클러스터'라고 불리는 유사한 그룹으로 분류하는 작업을 말합니다.
DENCLUE의 정의
DENCLUE는 밀도 기반 군집화(Density-based Clustering)를 의미하는 알고리즘으로, 일련의 밀도 분포 함수에 기반한 군집화 기법입니다. DENCLUE 알고리즘은 커널 밀도 추정(kernel density estimation)에 기반한 군집 모델을 사용하며, 각 군집은 예측된 밀도 함수의 국소 최댓값(local maximum), 즉 밀도 어트랙터(density attractor)로 표현됩니다.
고차원 데이터에서의 한계
DENCLUE는 균일 분포(uniform distribution)를 가진 레코드에는 잘 작동하지 않습니다. 고차원 공간에서는 차원의 저주(curse of dimensionality) 때문에 데이터가 항상 균일하게 분포된 것처럼 보이기 때문입니다. 따라서 DENCLUE는 일반적으로 고차원 데이터에서는 좋은 성능을 기대하기 어렵습니다.
DENCLUE의 세 가지 핵심 아이디어
DENCLUE 방법론은 다음과 같은 개념들을 기반으로 구축되었습니다.
영향 함수(Influence Function): 각 데이터 포인트의 영향력은 수학적 함수로 공식화하여 모델링할 수 있으며, 이 함수는 해당 데이터 포인트가 이웃 영역 내에서 미치는 영향을 설명합니다.
밀도의 해석적 모델링: 데이터 영역 전체의 밀도는 일부 데이터 포인트에 적용된 영향 함수들의 합으로 해석적으로 모델링할 수 있습니다.
밀도 어트랙터를 통한 군집 결정: 군집은 밀도 어트랙터, 즉 전체 밀도 함수의 국소 최댓값을 식별함으로써 수치적으로 결정할 수 있습니다.
영향 함수의 수학적 정의
x와 y를 d차원 입력 공간 fd 내의 객체 또는 점이라고 하겠습니다. 데이터 객체 y가 x에 미치는 영향 함수는 기본 영향 함수 fB를 이용해 다음과 같이 정의됩니다.
fBy(x) = fB(x, y)
이는 y가 x에 미치는 영향을 나타냅니다. 이론적으로 영향 함수는 이웃 영역 내 두 객체 간의 거리로 결정될 수 있는 임의의 함수가 될 수 있습니다. 이때 거리 함수 d(x, y)는 반사성(reflexive)과 대칭성(symmetric)을 만족해야 하며, 유클리드 거리 함수가 대표적인 예입니다.
실제로는 다음과 같은 사각파(square wave) 영향 함수가 자주 사용됩니다.
fsquare(x, y) = 0 (d(x, y) > σ인 경우), 1 (그 외의 경우)
또는 다음과 같은 가우시안(Gaussian) 영향 함수를 사용할 수도 있습니다.
fGauss(x, y) = e-d(x, y)² / 2σ²
DENCLUE의 장점
DENCLUE가 주목받는 이유는 다음과 같은 강점들 때문입니다.
탄탄한 수학적 기반: 분할 기반(partitioning), 계층적(hierarchical), 밀도 기반(density-based) 등 여러 군집화 접근 방식을 일반화하는 견고한 이론적 토대를 가지고 있습니다.
우수한 노이즈 처리 능력: 많은 양의 노이즈(noise)가 포함된 데이터셋에서도 좋은 군집화 성능을 보여줍니다.
유연한 군집 표현: 고차원 데이터셋에서 임의의 형태를 가진 군집까지 간결한 수치적 설명으로 표현할 수 있습니다.
뛰어난 처리 속도: 그리드 셀(grid cell)을 활용하되, 실제로 데이터 포인트를 포함하는 그리드 셀에 대한 정보만 유지합니다. 이러한 셀들을 트리 기반 접근 구조로 관리하기 때문에 DBSCAN과 같은 기존 알고리즘보다 상당히 빠른 속도를 자랑합니다.
주의할 점: 매개변수 선택의 중요성
DENCLUE를 효과적으로 활용하려면 밀도 매개변수 σ(sigma)와 노이즈 임계값 ξ(xi)를 신중하게 선택해야 합니다. 이러한 매개변수의 선택에 따라 군집화 결과의 품질이 크게 달라질 수 있으므로, 실제 적용 시 실험과 검증을 통한 최적화 과정이 필수적입니다.