클러스터링(군집화)은 대규모 데이터베이스에서 유사한 특성을 가진 데이터 개체들을 그룹으로 묶는 데이터 마이닝의 핵심 기법입니다. 실무 환경에서 효과적으로 활용되기 위해서는 클러스터링 알고리즘이 다음과 같은 요건들을 충족해야 합니다.
1. 확장성 (Scalability)
일부 클러스터링 알고리즘은 200개 미만의 소규모 데이터 집합에서는 잘 작동하지만, 실제 대형 데이터베이스에는 수백만 개의 객체가 포함될 수 있습니다. 방대한 데이터 세트의 일부 샘플만으로 클러스터링을 수행하면 편향된 결과가 나올 수 있으므로, 높은 확장성을 갖춘 알고리즘이 반드시 필요합니다.
2. 다양한 속성 유형 처리 능력
일부 알고리즘은 구간 기반(수치형) 데이터만 클러스터링하도록 설계되었습니다. 그러나 실제 응용 분야에서는 이진(binary), 범주형(nominal), 순서형(ordinal) 데이터 또는 이들의 조합처럼 다양한 유형의 데이터를 클러스터링해야 하는 경우가 많습니다.
3. 임의 형태의 클러스터 발견
유클리드 거리나 맨해튼 거리에 기반한 알고리즘은 크기와 밀도가 동일한 구형(spherical) 클러스터만 발견하는 경향이 있습니다. 하지만 실제 클러스터는 어떤 형태든 가질 수 있으므로, 임의의 모양을 가진 클러스터를 식별할 수 있는 알고리즘 개발이 중요합니다.
4. 입력 매개변수 결정을 위한 도메인 지식 최소화
일부 클러스터링 알고리즘은 사용자가 원하는 클러스터 수와 같은 특정 매개변수를 직접 입력해야 합니다. 클러스터링 결과는 이러한 입력값에 매우 민감하며, 특히 고차원 데이터 세트에서는 적절한 값을 정하기가 어렵습니다. 이는 사용자에게 부담을 줄 뿐만 아니라 클러스터링 품질 관리도 어렵게 만듭니다.
5. 노이즈 데이터 처리 능력
실제 데이터베이스에는 이상치(outlier), 누락된 값, 알 수 없는 값, 오류 데이터가 포함되어 있는 경우가 많습니다. 일부 알고리즘은 이런 데이터에 민감하게 반응하여 저품질의 클러스터를 생성할 수 있습니다.
6. 입력 레코드 순서에 대한 둔감성
일부 알고리즘은 입력 데이터의 순서에 따라 결과가 크게 달라집니다. 동일한 데이터 세트라도 입력 순서가 다르면 완전히 다른 클러스터가 생성될 수 있습니다. 따라서 입력 순서에 영향받지 않는 알고리즘 개발이 필요합니다.
7. 고차원성 지원
데이터베이스나 데이터 웨어하우스는 여러 차원(속성)을 포함할 수 있습니다. 일부 알고리즘은 2~3차원의 저차원 데이터만 잘 처리하며, 사람의 눈으로도 3차원까지만 클러스터링 품질을 직관적으로 판단하기 좋습니다. 고차원 공간에서는 데이터가 매우 희소하고 왜곡되기 쉬워 클러스터링 작업이 더욱 까다롭습니다.
8. 제약 기반 클러스터링
실제 응용 환경에서는 다양한 제약 조건 하에서 클러스터링을 수행해야 할 수 있습니다. 예를 들어, 한 도시에 새로 설치할 ATM(자동현금지급기) 입지를 선정하는 작업을 생각해 볼 수 있습니다. 이 경우 인구 밀도, 접근성, 기존 지점과의 거리 등 여러 제약 조건을 종합적으로 고려하여 최적의 위치 그룹을 도출해야 합니다.