데이터 마이닝은 방대한 데이터 속에서 숨겨진 패턴과 유용한 지식을 발견하는 강력한 기술이지만, 실제 적용 과정에서는 여러 가지 도전 과제에 직면하게 됩니다. 이 글에서는 데이터 마이닝이 안고 있는 대표적인 문제점들을 하나씩 살펴보겠습니다.
1. 알고리즘의 효율성과 확장성
대규모 데이터베이스에서 효과적으로 데이터를 추출하려면, 지식 발견 알고리즘이 거대한 데이터베이스에 대해서도 효율적이고 확장 가능해야 합니다. 특히 데이터 마이닝 알고리즘의 실행 시간은 예측 가능해야 하며, 방대한 규모의 데이터베이스에서도 허용 가능한 수준을 유지해야 합니다.
지수(exponential) 복잡도를 가지거나 높은 차수의 다항식 복잡도를 가지는 알고리즘은 실무적으로 효율적으로 활용하기 어렵습니다. 따라서 데이터 크기가 증가하더라도 성능 저하를 최소화할 수 있는 알고리즘 설계가 필수적입니다.
2. 마이닝 결과의 유용성, 신뢰성, 표현력
발견된 지식은 데이터베이스의 내용을 정확하게 반영해야 하며, 특정 응용 분야에 실질적인 도움이 되어야 합니다. 완전하지 않은(imperfect) 정보는 불확실성 측정치를 통해 정의되어야 하며, 근사 규칙(approximate rules)이나 정량적 규칙(quantitative rules)의 형태로 표현될 수 있습니다.
또한 노이즈(noise)와 예외적인 데이터는 데이터 마이닝 시스템에서 우아하게 처리되어야 합니다. 이는 발견된 지식의 품질, 즉 흥미도(interestingness)와 신뢰도(reliability)를 체계적으로 측정하기 위한 통계적·분석적·시뮬레이션 모델 및 도구 개발을 촉진하는 계기가 되고 있습니다.
3. 다양한 마이닝 결과의 표현 방식
방대한 데이터로부터 여러 종류의 지식을 발견할 수 있으며, 사용자는 발견된 지식을 다양한 관점에서 검토하고 서로 다른 형태로 확인하고 싶어합니다.
이를 위해서는 데이터 마이닝 요청과 발견된 지식을 고급 언어(high-level language)나 그래픽 사용자 인터페이스(GUI)로 정의할 수 있어야 합니다. 그래야 비전문가도 데이터 마이닝 작업을 수행할 수 있고, 발견된 지식을 사용자가 이해하기 쉽고 명확하게 활용할 수 있습니다. 아울러 발견 시스템은 표현력 있는 지식 표현 기법을 선택할 수 있어야 합니다.
4. 다중 추상화 수준에서의 대화형 지식 마이닝
데이터베이스에서 무엇이 발견될지 정확히 예측하기는 어렵기 때문에, 상위 수준의 데이터 마이닝 질의(query)는 추가 탐색을 위한 흥미로운 단서를 드러내는 탐색 도구(probe)로 간주되어야 합니다.
대화형(interactive) 발견 방식이 권장되며, 이를 통해 사용자는 다음과 같은 작업을 유연하게 수행할 수 있습니다.
- 데이터 마이닝 요청을 대화형으로 반복 수정(refinement)
- 데이터 포커싱(focusing)의 동적 변경
- 데이터 마이닝 프로세스의 점진적 심화
- 여러 추상화 수준과 다양한 관점에서 정보 및 마이닝 결과 확인
5. 이질적인 데이터 소스로부터의 정보 마이닝
인터넷과 같은 광역 컴퓨터 네트워크의 보급으로 다양한 데이터 소스가 연결되어 거대한 분산형·이질적(heterogeneous) 데이터베이스가 형성되었습니다. 서로 다른 데이터 의미론(semantics)을 가진 정형 또는 비정형 정보 여러 소스에서 지식을 마이닝하는 것은 데이터 마이닝에 새로운 요구 사항을 제기합니다.
반면, 데이터 마이닝은 단순한 질의 시스템으로는 발견하기 어려운 이질적 데이터베이스 내의 상위 수준 데이터 패턴(regularities)을 밝혀내는 데 기여할 수 있습니다. 나아가 데이터베이스의 거대한 크기, 데이터의 광범위한 분산, 여러 데이터 마이닝 기법의 연산 복잡성은 병렬 및 분산 데이터 마이닝 알고리즘의 발전을 촉진하는 동력이 되고 있습니다.
마무리
데이터 마이닝은 강력한 기술이지만, 알고리즘의 효율성, 결과의 신뢰성, 다양한 데이터 환경에 대한 대응력 등 해결해야 할 과제가 많습니다. 이러한 문제점들을 이해하고 접근한다면, 더욱 실용적이고 신뢰할 수 있는 데이터 마이닝 시스템을 구축하는 데 큰 도움이 될 것입니다.