분류(Classification)란?
분류는 데이터에 레이블(클래스)을 부여하여 보다 효율적인 예측과 분석을 지원하는 데이터 마이닝 기법입니다. 대규모 데이터셋의 분석을 효과적으로 수행하기 위해 사전에 정의된 여러 방법 중 하나로 널리 활용됩니다.
'분류'라는 용어는 일반적으로 목표 클래스가 정확히 두 개인 경우, 즉 이진 분류(binary classification)에 사용됩니다. 두 개 이상의 클래스를 예측해야 하는 경우, 특히 패턴 인식 문제에서는 다중 클래스 분류(multinomial classification)라고 정의합니다. 다중 클래스 분류는 여러 범주 중 어느 범주에 해당 인스턴스가 속할 확률이 가장 높은지 예측해야 하는 명목형 응답 데이터에도 적용됩니다.
분류는 데이터 마이닝에서 가장 중요한 요소입니다. 데이터의 속성에 따라 사전에 정의된 클래스 레이블을 할당하는 과정을 의미합니다. 분류와 클러스터링은 비슷해 보이지만 서로 다른 개념입니다. 두 기법의 가장 큰 차이점은 분류가 사전에 정의된 그룹에 대한 소속 여부를 기준으로 항목에 레이블을 부여한다는 점입니다.
클러스터링(Clustering)이란?
물리적 또는 추상적인 객체들의 집합을 유사한 객체들끼리 묶어 그룹으로 구성하는 과정을 클러스터링이라고 합니다. 클러스터란 동일한 클러스터 내부의 객체들은 서로 유사하고, 다른 클러스터의 객체들과는 차별되는 데이터 객체의 집합을 의미합니다. 여러 응용 분야에서 데이터 객체의 클러스터는 하나의 그룹으로 간주될 수 있으며, 군집 분석(cluster analysis)은 인간의 본질적인 활동 중 하나이기도 합니다.
군집 분석은 레코드에 대해 측정된 다양한 지표를 바탕으로 유사한 레코드들을 그룹화하는 데 사용됩니다. 핵심 설계 목표는 분석의 목적에 유용한 방식으로 클러스터를 정의하는 것입니다. 이러한 기법은 천문학, 고고학, 의학, 화학, 교육학, 심리학, 언어학, 사회학 등 다양한 분야에서 폭넓게 활용되고 있습니다.
군집 분석의 대표적인 활용 사례 중 하나가 마케팅 분야의 시장 세분화(market segmentation)입니다. 고객을 인구 통계학적 특성과 거래 이력 데이터를 기반으로 세분화하고, 각 세그먼트에 최적화된 마케팅 전략을 수립합니다.
군집 분석은 대량의 데이터 처리에도 효과적입니다. 예를 들어, 인터넷 검색 엔진은 사용자가 입력하는 검색 쿼리를 클러스터링한 후, 그 결과를 검색 알고리즘 개발에 활용합니다.
일반적으로 클러스터링에 사용되는 기본 데이터는 여러 변수에 대한 측정값으로 구성된 테이블 형태이며, 각 열(column)은 변수를, 각 행(row)은 레코드를 나타냅니다. 목표는 유사한 레코드들이 동일한 그룹에 속하도록 데이터를 그룹화하는 것이며, 클러스터의 개수는 사전에 지정하거나 데이터로부터 도출할 수 있습니다.
분류와 클러스터링의 핵심 차이
- 지도 학습 vs 비지도 학습: 분류는 사전에 정의된 레이블이 있는 지도 학습(supervised learning) 기법이고, 클러스터링은 레이블 없이 데이터 간의 유사성만으로 그룹을 형성하는 비지도 학습(unsupervised learning) 기법입니다.
- 레이블의 유무: 분류는 미리 정의된 클래스 레이블에 따라 데이터를 할당하지만, 클러스터링은 결과로 생성되는 그룹 자체가 사전에 정의되어 있지 않습니다.
- 활용 목적: 분류는 스팸 메일 필터링, 질병 진단 등 예측 문제에 활용되며, 클러스터링은 고객 세분화, 문서·이미지 그룹화 등 탐색적 데이터 분석에 주로 사용됩니다.