데이터 마이닝이란 무엇인가?
데이터 마이닝은 저장소에 축적된 대량의 데이터를 통계학 및 수학 기법을 포함한 패턴 인식 기술로 분석하여, 유용한 새로운 상관관계·패턴·추세를 발견하는 과정입니다. 이는 사실 데이터(factual dataset)를 분석해 예상치 못한 관계를 찾아내고, 데이터 소유자에게 논리적으로도 실용적으로도 도움이 되는 새로운 방식으로 기록을 요약하는 작업을 의미합니다.
데이터 마이닝 모델의 세 가지 유형
데이터 마이닝 기법은 수행하려는 작업의 성격에 따라 세 가지 모델로 구분할 수 있습니다. 바로 기술 프로파일링(Descriptive Profiling), 방향성 프로파일링(Directed Profiling), 그리고 예측(Prediction)입니다.
1. 기술 프로파일링(Descriptive Profiling)
기술 모델은 레코드에 담긴 내용이 '무엇인지'를 정의합니다. 분석 결과는 여러 차트, 숫자, 그래픽 형태로 제시되며, 현재 진행 중인 상황을 설명해 줍니다. 이러한 기술 모델은 가설 검정(hypothesis testing)을 통해 만들어집니다.
반면 방향성 프로파일링과 예측은 모델을 구축하는 시점부터 명확한 목표(objective)를 염두에 두고 진행됩니다.
프로파일링 모델에서 초점은 입력 데이터와 동일한 시간대에 있고, 예측 모델에서 초점은 다음 시간대에 있습니다. 즉, 예측이란 한 시기의 데이터에서 발견한 패턴이 다음 시기의 결과를 설명할 수 있는지를 찾는 것입니다. 프로파일링과 예측의 구분을 강조하는 이유는 모델링 방법론, 특히 모델 셋(model set)을 구성할 때 '시간'을 어떻게 다루는지와 직결되기 때문입니다.
2. 방향성 프로파일링(Directed Profiling)
프로파일링은 많은 문제에 적용되는 친숙한 접근 방식으로, 반드시 정교한 데이터 분석을 필요로 하지 않습니다. 예를 들어 설문조사는 고객 프로파일을 만드는 가장 일반적인 방법 중 하나입니다. 설문조사를 통해 고객과 잠재 고객이 어떤 모습인지, 최소한 응답자들이 질문에 어떻게 답하는지를 파악할 수 있습니다.
프로파일은 지리적 위치, 성별, 연령 같은 인구통계학적 변수에 기반하는 경우가 많습니다. 광고 역시 동일한 변수를 기준으로 판매되기 때문에, 인구통계학적 프로파일은 곧바로 미디어 전략으로 전환될 수 있다는 장점이 있습니다.
3. 예측(Prediction)
프로파일링이 과거 데이터를 사용해 '과거에 무슨 일이 있었는지'를 설명한다면, 예측은 한 단계 더 나아갑니다. 예측은 과거 데이터를 활용해 '미래에 어떤 일이 일어날 가능성이 높은지'를 추정합니다. 이는 정보의 동적인 활용이라 할 수 있습니다.
예를 들어 낮은 예금 잔액과 CD(양도성 예금증서) 보유 간의 상관관계는 CD 보유자 프로파일에는 큰 도움이 되지 않지만, 높은 예금 잔액은 다른 지표들과 결합했을 때 향후 CD 구매를 예측하는 유력한 변수가 될 수 있습니다.
예측 모델을 구축하려면 모델 입력(예측 변수)과 모델 출력(예측 대상) 사이에 시간적 분리가 반드시 필요합니다. 이러한 시간적 구분이 확보되지 않으면 모델은 제대로 작동하지 않습니다.