데이터 마이닝에서 클러스터 분석이란?
클러스터 분석(Cluster Analysis)은 다양한 측정 기준에 따라 서로 유사한 레코드들을 하나의 그룹 또는 클러스터로 묶는 데이터 마이닝 기법입니다. 분석 목적에 맞게 클러스터를 정의할 수 있다는 점이 큰 장점이며, 이러한 기법은 천문학, 고고학, 의학, 화학, 교육학, 심리학, 언어학, 사회학 등 매우 다양한 분야에서 폭넓게 활용되고 있습니다.
클러스터는 정의하는 방식에 따라 여러 유형으로 나눌 수 있으며, 대표적인 유형은 다음과 같습니다.
1. 잘 분리된 클러스터(Well-Separated Cluster)
잘 분리된 클러스터는 클러스터 내부의 모든 객체가 클러스터 외부의 어떤 객체보다도 클러스터 내 다른 객체들에 더 가까운 집합을 의미합니다. 경우에 따라 임계값(threshold)을 설정하여 클러스터 내 모든 객체가 서로 충분히 가깝거나(또는 유사하도록) 조건을 부여하기도 합니다.
다만 이러한 클러스터 정의는 데이터에 자연스럽게 형성되어 서로 완전히 멀리 떨어진 클러스터들이 존재할 때만 유효합니다.
2. 프로토타입 기반 클러스터(Prototype-Based Cluster)
프로토타입 기반 클러스터는 각 객체가 해당 클러스터를 대표하는 프로토타입에 다른 클러스터의 프로토타입보다 더 가까운 객체들의 집합입니다.
연속형 속성을 가진 데이터의 경우, 클러스터의 프로토타입은 일반적으로 중심점(centroid), 즉 클러스터 내 여러 지점들의 평균(mean)으로 정의됩니다. 반면 중심점을 구하기 어려운 경우, 예를 들어 레코드가 범주형(categorical) 속성을 가질 때는 중심 객체(medoid), 즉 클러스터의 대표 지점을 프로토타입으로 사용합니다.
3. 그래프 기반 클러스터(Graph-Based Cluster)
데이터를 노드는 객체, 링크(link)는 객체 간 연결 관계를 나타내는 그래프로 표현할 때, 클러스터는 연결 요소(connected component)로 표현할 수 있습니다. 즉, 서로 연결되어 있지만 그룹 바깥의 객체와는 연결되지 않은 객체들의 집합입니다.
그래프 기반 클러스터의 대표적인 예는 인접성 기반(contiguity-based) 클러스터입니다. 인접성 기반 클러스터에서는 두 객체가 서로 지정된 거리 안에 있을 때만 연결됩니다. 따라서 클러스터 내 각 객체는 다른 클러스터의 어떤 지점보다 자신이 속한 클러스터 내 여러 객체들에 더 가깝게 됩니다.
4. 밀도 기반 방법(Density-Based Method)
일부 분할(partitioning) 기법은 객체 간 거리를 기준으로 클러스터를 형성합니다. 하지만 이러한 접근 방식은 구형(spherical) 클러스터만 발견할 수 있으며, 임의의 모양을 가진 클러스터를 찾는 데는 한계가 있습니다.
이를 보완하기 위해 밀도(density) 개념에 기반한 다양한 클러스터링 방법이 개발되었습니다.
- DBSCAN: 밀도 임계값을 기준으로 클러스터를 확장해 나가는 대표적인 밀도 기반 방법입니다.
- OPTICS: 자동 및 상호 클러스터 분석을 위해 확장된 클러스터링 순서(clustering ordering)를 계산하는 밀도 기반 방법입니다.
5. 그리드 기반 방법(Grid-Based Method)
그리드 기반 방법은 객체 공간을 유한한 개수의 셀(cell)로 양자화하여 격자(grid) 구조를 만듭니다. 이후 클러스터링 작업은 이 격자 구조, 즉 양자화된 공간 위에서 수행됩니다.
이 접근 방식의 가장 큰 장점은 빠른 처리 속도입니다. 처리 시간은 데이터 객체의 수와 무관하게, 양자화된 공간에서 각 차원별 셀의 개수에만 의존하기 때문입니다.
마무리
클러스터링 기법은 데이터의 특성과 분석 목적에 따라 적절한 유형을 선택하는 것이 중요합니다. 데이터가 명확히 분리되어 있는지, 연속형인지 범주형인지, 그래프 구조인지, 밀도나 격자 기반 처리가 유리한지 등을 고려하여 최적의 클러스터링 방법을 적용하면 더욱 신뢰도 높은 분석 결과를 얻을 수 있습니다.