데이터 마이닝 방법론은 단순한 데이터 분석을 넘어 여러 가지 중요한 측면을 포괄하는 폭넓은 개념입니다. 이 글에서는 데이터 마이닝 방법론을 구성하는 6가지 핵심 측면을 자세히 살펴보겠습니다.
1. 다양하고 새로운 종류의 지식 마이닝
데이터 마이닝은 데이터 특성화(characterization)와 판별(discrimination)부터 시작하여 관계 및 상관관계 분석, 분류, 회귀, 군집화, 이상치 탐지, 시퀀스 분석, 추세 및 계산 분석에 이르기까지 광범위한 데이터 분석과 지식 발견 서비스를 다룹니다.
이러한 서비스들은 동일한 데이터베이스를 다양한 방식으로 활용할 수 있으며, 여러 데이터 마이닝 기법의 개발을 필요로 합니다. 소프트웨어의 다양성 덕분에 새로운 마이닝 서비스가 끊임없이 등장하고 있으며, 이로 인해 데이터 마이닝은 강력하고 빠르게 성장하는 분야로 자리 잡았습니다.
예를 들어, 데이터 네트워크에서 효과적인 지식 발견을 위해 통합된 군집화(clustering)와 랭킹(ranking) 기법을 활용하면 대규모 네트워크에서 고품질의 클러스터와 객체 순위를 찾아낼 수 있습니다.
2. 다차원 공간에서의 지식 마이닝
대규모 데이터셋에서 지식을 탐색할 때는 정보를 다차원 공간에서 분석할 수 있습니다. 여러 추상화 수준에서 차원(속성) 집합 간의 흥미로운 패턴을 검색하는 것이 가능하며, 이러한 마이닝 방식을 탐색적 다차원 데이터 마이닝(exploratory multidimensional data mining)이라고 부릅니다.
많은 경우 데이터를 다차원 데이터 큐브(data cube) 형태로 수집하거나 간주할 수 있습니다. 큐브 영역에서 지식을 마이닝하면 데이터 마이닝의 성능과 유연성을 한층 높일 수 있습니다.
3. 학제간 융합으로서의 데이터 마이닝
여러 학문 분야에서 개발된 새로운 기법을 통합하면 데이터 마이닝의 성능을 크게 향상시킬 수 있습니다. 예를 들어, 자연어 텍스트로 된 레코드를 마이닝할 때는 데이터 마이닝 접근법을 정보 검색(information retrieval) 및 자연어 처리(NLP) 방법과 결합하는 것이 효과적입니다.
4. 네트워크 환경에서의 발견 능력 강화
일부 데이터 객체는 웹, 데이터베이스 연계, 파일 또는 레코드와 같이 연결되거나 상호 연결된 환경에 존재합니다. 여러 데이터 객체 간의 의미적 연결을 활용하면 데이터 마이닝에 실질적인 도움을 얻을 수 있습니다.
즉, 한 객체 집합에서 얻은 지식을 '연관된' 또는 의미적으로 연결된 객체 그룹의 지식 발견을 향상시키는 데 활용할 수 있습니다. 이를 통해 개별 데이터만 분석할 때보다 훨씬 깊이 있는 인사이트를 도출할 수 있습니다.
5. 불확실성, 노이즈, 불완전한 데이터 처리
현실의 데이터에는 노이즈, 오류, 예외, 모호성이 포함되어 있거나 불완전한 경우가 많습니다. 오류와 노이즈는 데이터 마이닝 과정을 혼란스럽게 만들어 잘못된 결과를 도출하게 할 수 있습니다.
따라서 데이터 정제(data cleaning), 데이터 전처리(preprocessing), 이상치 탐지 및 제거, 모호성 추론과 같은 방법들을 데이터 마이닝 프로세스와 통합하는 것이 필수적입니다. 이러한 사전 처리 단계를 거쳐야 신뢰할 수 있는 분석 결과를 얻을 수 있습니다.
6. 패턴 평가 및 패턴·제약 조건 기반 마이닝
데이터 마이닝 프로세스가 생성하는 모든 패턴이 흥미로운 것은 아닙니다. 패턴이 흥미로운지 여부를 판단하는 기준은 사용자마다 다를 수 있으므로, 주관적 측정 기준에 따라 발견된 패턴의 흥미도(interestingness)를 평가하는 기법이 필요합니다.
이러한 측정은 사용자의 신념이나 기대에 기반하여 특정 사용자 클래스와 관련하여 패턴의 가치를 평가합니다. 나아가 흥미도 측정값이나 사용자 정의 제약 조건을 활용해 발견 과정을 안내하면 더욱 흥미로운 패턴을 생성하고 탐색 공간을 효율적으로 줄일 수 있습니다.
마무리
데이터 마이닝 방법론은 다양한 지식 마이닝, 다차원 분석, 학제간 융합, 네트워크 환경 활용, 데이터 품질 관리, 패턴 평가까지 아우르는 종합적인 체계입니다. 이러한 측면들을 균형 있게 고려할 때, 데이터로부터 더 정확하고 가치 있는 인사이트를 발견할 수 있습니다.