데이터 마이닝(data mining)은 저장소에 축적된 방대한 양의 데이터를 통계학·수학 기법 등 패턴 인식 기술을 활용해 분석함으로써, 유용한 새로운 상관관계·패턴·추세를 발견하는 과정입니다. 나아가 실제 데이터셋을 분석해 예상치 못한 관계를 밝혀내고, 데이터 소유자에게 논리적이면서도 실질적으로 유익한 새로운 방식으로 기록을 요약하는 작업이기도 합니다.
그러나 데이터 마이닝은 강력한 도구인 만큼 해결해야 할 여러 문제점을 안고 있습니다. 주요 이슈를 하나씩 살펴보겠습니다.
데이터 마이닝의 주요 문제점
1. 개인정보 보호 문제
개인정보 문제는 단순한 기술적·사업적 차원을 넘어선 사회적 차원의 근본적인 과제입니다. 핵심은 개인의 프라이버시입니다. 데이터 마이닝을 활용하면 일상적인 거래 내역을 분석할 수 있게 되며, 그 과정에서 개인의 구매 습관과 선호도에 대한 막대한 정보가 수집될 수 있습니다.
2. 데이터 무결성 문제
데이터 마이닝 구현 시 가장 큰 도전 과제 중 하나는 여러 출처에서 수집된 상충되거나 중복된 정보를 통합하는 일입니다. 예를 들어 은행이 신용카드 계좌를 서로 다른 데이터베이스에서 관리한다면, 동일한 카드 소지자의 주소가 각 데이터베이스마다 다르게 기록되어 있을 수 있습니다. 이 경우 시스템 간 데이터를 변환하고 가장 최근에 입력된 주소를 선택하는 등의 처리 로직이 반드시 필요합니다.
3. 관계형 구조 vs 다차원 구조
기술적인 관점에서는 관계형(relational) 데이터베이스 구조와 다차원(multidimensional) 구조 중 어느 것이 더 적합한지가 중요한 선택 과제입니다. 관계형 구조는 데이터를 테이블 형태로 저장하여 임의(ad-hoc) 질의에 유연하게 대응할 수 있습니다. 반면 다차원 구조는 큐브 집합을 배열 형태로 연결하고 범주별 하위 집합을 생성합니다. 다차원 구조가 다차원 데이터 마이닝에는 더 적합하지만, 실제 클라이언트/서버 환경에서는 관계형 구조가 훨씬 더 좋은 성능을 보여왔습니다.
4. 비용 문제
데이터 마이닝 질의가 정교해질수록 데이터로부터 얻을 수 있는 정보의 활용 가치는 커지고, 이는 다시 더 많은 데이터를 수집·유지해야 하는 압박으로 이어집니다. 더 많은 데이터는 더 빠르고 강력한 마이닝 질의를 요구하며, 결국 더 크고 빠른 시스템, 즉 더 많은 비용을 수반하게 됩니다.
5. 데이터 품질 문제
데이터 품질은 데이터 마이닝의 가장 큰 난제 중 하나입니다. 데이터 품질은 데이터의 정확성과 무결성을 의미하며, 분석 대상 정보의 구조와 일관성에도 영향을 받습니다. 중복 데이터의 존재, 데이터 표준의 부재, 업데이트 지연, 사람의 실수 등은 복잡한 데이터 마이닝 기법의 효과를 크게 떨어뜨릴 수 있습니다.
6. 상호운용성 문제
상호운용성(interoperability)이란 컴퓨터 시스템이나 데이터가 공통 표준과 절차를 사용해 다른 시스템이나 데이터와 함께 작동할 수 있는 능력을 말합니다. 데이터 마이닝에서는 여러 데이터베이스를 동시에 검색·분석하고, 여러 기관의 데이터 마이닝 활동 간 호환성을 확보하기 위해 데이터베이스와 소프트웨어의 상호운용성이 필수적입니다.
마무리
데이터 마이닝은 방대한 데이터 속에서 숨겨진 가치를 끌어내는 강력한 도구이지만, 개인정보 보호, 데이터 품질, 시스템 구조 선택, 비용 등 해결해야 할 과제도 만만치 않습니다. 성공적인 데이터 마이닝을 위해서는 기술적 요소와 사회적·윤리적 요소를 균형 있게 고려하는 전략이 필요합니다.