분류 모델과 파생 모델의 개념
분류(Classification)는 데이터 클래스나 개념을 정의하고 구분하는 모델을 발견하는 절차입니다. 이 모델은 학습 데이터(training data), 즉 클래스 레이블이 이미 알려져 있는 데이터 객체 집합을 분석하여 만들어집니다. 완성된 모델은 클래스 레이블이 알려지지 않은 객체에 대해서도 해당 레이블을 예측할 수 있습니다.
파생 모델의 다양한 표현 형태
이렇게 유도된 파생 모델(derived model)은 여러 가지 형태로 표현될 수 있습니다. 대표적인 형태로는 분류 규칙(classification rules, IF-THEN 규칙), 결정 트리(decision tree), 수학적 공식, 신경망(neural network) 등이 있습니다.
결정 트리(Decision Tree)
결정 트리는 흐름도(flowchart)와 유사한 트리 구조를 가진 모델입니다. 각 노드(node)는 특정 속성 값에 대한 검사(test)를 나타내고, 각 가지(branch)는 그 검사의 결과를 의미하며, 잎(leaf)은 클래스 또는 클래스 분포를 설명합니다. 또한 결정 트리는 분류 규칙으로 손쉽게 변환할 수 있다는 장점이 있습니다.
신경망(Neural Network)
분류 목적으로 사용되는 신경망은 일반적으로 뉴런과 유사한 처리 단위들이 가중치가 부여된 연결선으로 상호 연결된 구조를 말합니다.
이 외에도 나이브 베이즈 분류(naïve Bayesian classification), 서포트 벡터 머신(SVM), k-최근접 이웃(k-nearest-neighbor) 분류 등 다양한 방법으로 분류 모델을 구축할 수 있습니다.
분류와 회귀의 차이
분류는 범주형(categorical, 즉 이산적이고 순서가 없는) 레이블을 예측하는 반면, 회귀(regression)는 연속적인 값을 갖는 함수를 모델링합니다. 회귀는 (이산적인) 클래스 레이블 대신 누락되었거나 구할 수 없는 통계 데이터 값을 예측하는 데 활용됩니다.
예측(prediction)이라는 개념은 수치 예측과 클래스 레이블 예측을 모두 포괄합니다. 회귀 분석은 수치 예측에 사용되는 대표적인 통계적 방법론이며, 이 외에도 여러 기법이 존재합니다. 회귀는 또한 주어진 데이터를 바탕으로 분포 추세(distribution trends)를 식별하는 작업도 포함합니다.
관련성 분석의 필요성
분류와 회귀를 수행하기 전에 관련성 분석(relevance analysis)을 선행해야 하는 경우가 많습니다. 관련성 분석은 분류 및 회귀 과정에 실질적으로 중요한 속성을 식별하려는 시도입니다. 이렇게 선별된 속성만이 분류와 회귀에 사용되며, 무관한 속성들은 고려 대상에서 제외됩니다. 이를 통해 모델의 성능과 효율을 크게 높일 수 있습니다.
AllElectronics 판매 캠페인 예시
AllElectronics의 영업 관리자라고 가정해 보겠습니다. 매장에서 판매하는 대량의 상품들을 판매 캠페인에 대한 세 가지 반응 유형, 즉 '좋은 반응(good response)', '보통 반응(mild response)', '반응 없음(no response)'을 기준으로 분류해야 합니다.
이때 상품의 가격, 브랜드, 제조 국가, 유형, 카테고리와 같은 기술적 특징(descriptive features)을 바탕으로 세 개 클래스 각각에 대한 모델을 도출할 수 있습니다. 그 결과로 얻어지는 분류는 각 클래스를 다른 클래스들과 최대한 명확하게 구분하여, 데이터 집합에 대한 체계적인 그림을 제공해야 합니다.
결정 트리는 세 클래스를 가장 잘 구분하는 요소로 '가격'을 식별할 수 있습니다. 또한 가격 외에도 각 클래스의 객체들을 더욱 세밀하게 구분하는 데 기여하는 속성으로 '브랜드'와 '제조 국가'를 밝혀낼 수 있습니다. 이러한 결정 트리를 통해 우리는 해당 판매 캠페인의 효과를 파악하고, 향후 더 효율적인 캠페인을 설계할 수 있습니다.