수동 데이터 분석의 한계와 KDD의 필요성
전통적으로 데이터를 지식으로 전환하는 과정은 사람이 직접 분석하고 해석하는 방식에 의존해 왔습니다. 예를 들어 의료 산업에서는 전문가들이 분기마다 의료 데이터의 최신 추세와 변화를 체계적으로 분석하는 것이 일반적입니다.
전문가들은 이러한 분석 내용을 상세히 담은 보고서를 의뢰한 의료기관에 제출하며, 이 보고서는 향후 의료 관리의 의사결정과 계획 수립의 기초 자료로 활용됩니다. 행성 지질학자들이 원격 탐사로 얻은 행성과 소행성 이미지를 분석하며 충돌 크레이터와 같은 지질학적 대상을 찾아 위치를 파악하고 목록화하는 것도 같은 맥락의 사례입니다.
그러나 이러한 수동적인 데이터 탐색 방식은 속도가 느리고 비용이 많이 들며 주관적 개입 여지가 크다는 치명적인 단점이 있습니다. 데이터의 양이 폭발적으로 증가하는 오늘날, 수동 데이터 분석은 여러 분야에서 사실상 실행 불가능한 수준에 이르렀습니다. 바로 이 지점에서 KDD(데이터베이스 지식 발견)가 필수적인 역할을 하게 됩니다.
KDD의 주요 응용 분야
비즈니스 영역에서 KDD의 핵심 적용 분야는 마케팅, 금융(특히 투자), 사기 탐지, 제조, 통신, 웹 에이전트 등입니다. 각 분야별 대표적인 활용 사례를 살펴보겠습니다.
마케팅
마케팅 분야에서 가장 기본적인 KDD 응용은 데이터베이스 마케팅 시스템입니다. 이 시스템은 고객 데이터베이스를 분석하여 다양한 고객 그룹을 식별하고, 각 그룹의 행동 패턴을 예측함으로써 표적화된 마케팅 전략 수립을 지원합니다.
투자
여러 기업이 투자 목적으로 데이터 마이닝을 활용하지만, 대부분은 자신들의 시스템을 외부에 공개하지 않습니다. 드문 예외로 LBS Capital Management가 있습니다. 이 회사의 시스템은 전문가 시스템, 신경망, 유전 알고리즘을 결합하여 총 6억 달러 규모의 포트폴리오를 운용하며, 1993년 도입 이후 꾸준히 전체 주식 시장 평균보다 높은 성과를 거두어 왔습니다.
사기 탐지
HNC Falcon과 Nestor PRISM 시스템은 신용카드 사기 검증에 활용되며 수백만 개의 계좌를 실시간으로 감시합니다. 또한 미국 재무부 금융범죄단속네트워크(FinCEN)의 FAIS 시스템은 자금 세탁 활동을 시사할 수 있는 의심스러운 금융 거래를 식별하는 데 사용됩니다.
제조
CASSIOPEE 문제 해결 시스템은 제너럴 일렉트릭(GE)과 스네크마(SNECMA)의 합작 투자 사업의 일환으로 개발되었습니다. 이 시스템은 유럽의 3대 항공사가 보잉 737 항공기의 고장을 진단하고 예측하는 데 실제로 활용되었습니다.
통신
통신 경보 시퀀스 분석기(TASA)는 통신 장비 제조업체와 3개 전화 네트워크(Mannila, Toivonen, Verkamo, 1995)의 협력으로 개발되었습니다. 이 시스템은 경보 스트림에서 빈번하게 발생하는 경보 에피소드를 찾아내고 이를 규칙 형태로 표시하는 혁신적인 구조를 채택하고 있습니다.
발견된 방대한 규칙 집합은 상호작용과 반복 작업을 지원하는 유연한 데이터 검색 도구를 통해 탐색할 수 있습니다. TASA는 단순 무차별 검색으로 얻은 규칙 결과를 정제하기 위해 가지치기(pruning), 그룹화, 정렬 기능을 제공하여 분석 효율성을 크게 높입니다.
데이터 클리닝
MERGE-PURGE 시스템은 중복된 복지 수급 신청을 식별하는 데 사용되었습니다(Hernandez & Stolfo, 1995). 이 시스템은 워싱턴주 복지국의 데이터에 성공적으로 적용되어 데이터 품질 개선에 크게 기여했습니다.