빅데이터 시대를 맞아 데이터 마이닝은 비즈니스와 과학 전반에서 그 중요성이 날로 커지고 있습니다. 이번 글에서는 현재 주목받고 있는 데이터 마이닝의 6가지 핵심 트렌드를 자세히 살펴보겠습니다.
1. 응용 분야의 지속적인 확장
초기의 데이터 마이닝 응용은 대체로 기업이 경쟁 우위를 확보하도록 돕는 데 초점이 맞춰져 있었습니다. 그러나 전자상거래(e-commerce)와 전자 마케팅(e-marketing)이 소매 시장의 주류로 자리 잡으면서, 기업을 위한 데이터 마이닝 활용은 계속해서 확대되고 있습니다.
또한 데이터 마이닝은 금융 분석, 통신, 바이오의학, 과학 연구 등 다양한 분야에서 점점 더 널리 활용되고 있습니다. 여기에 더해 테러 대응(침입 탐지를 포함해 그 이상의 영역)을 위한 데이터 마이닝, 모바일(무선) 데이터 마이닝 같은 신흥 소프트웨어 분야도 빠르게 성장하고 있습니다.
범용 데이터 마이닝 시스템은 특정 응용 분야의 고유한 문제를 다루는 데 한계가 있을 수 있기 때문에, 앞으로는 특정 분야에 특화된(application-specific) 데이터 마이닝 시스템 개발이 하나의 큰 흐름으로 자리 잡을 것으로 전망됩니다.
2. 확장 가능하고 상호작용적인 데이터 마이닝 방법
전통적인 데이터 분석 방법과 달리, 데이터 마이닝은 방대한 양의 데이터를 효과적으로 처리할 수 있어야 하며, 가능하다면 사용자와 실시간으로 상호작용할 수 있어야 합니다. 수집되는 정보의 양이 급격히 증가하는 상황에서 단일 및 통합 데이터 마이닝 서비스에 대한 확장 가능한(scalable) 알고리즘은 필수적입니다.
마이닝 프로세스의 전반적인 효율성을 높이면서 동시에 사용자 상호작용을 강화하는 중요한 방향 중 하나가 제약 기반 마이닝(constraint-based mining)입니다. 이 방식은 사용자가 제약 조건을 정의하고 활용함으로써, 데이터 마이닝 시스템이 흥미로운 패턴을 탐색하는 과정에 더 많은 통제권을 행사할 수 있도록 지원합니다.
3. 데이터베이스·데이터 웨어하우스·웹 시스템과의 통합
데이터베이스 시스템, 데이터 웨어하우스, 웹 데이터베이스는 이미 주류 데이터 처리 시스템으로 자리 잡았습니다. 따라서 데이터 마이닝이 별도의 고립된 도구가 아니라, 이러한 데이터 처리 환경에 원활하게 통합될 수 있는 핵심 데이터 분석 구성 요소로 제공되는 것이 매우 중요합니다.
4. 데이터 마이닝 언어의 표준화
표준 데이터 마이닝 언어나 기타 표준화 노력은 체계적인 데이터 마이닝 솔루션 개발을 뒷받침하고, 여러 데이터 마이닝 시스템 및 서비스 간의 상호 운용성(interoperability)을 향상시키며, 시장과 사회 전반에서 데이터 마이닝 시스템의 교육과 활용을 촉진하는 역할을 합니다.
5. 시각적 데이터 마이닝(Visual Data Mining)
시각적 데이터 마이닝은 방대한 데이터 속에서 지식을 발견하기 위한 효율적인 방법입니다. 시각적 데이터 마이닝 기법에 대한 체계적인 연구와 개발이 이루어질수록, 데이터 마이닝이 데이터 분석 도구로서 더욱 폭넓게 보급되고 활용될 수 있습니다.
6. 데이터 마이닝과 소프트웨어 엔지니어링의 융합
소프트웨어 프로그램은 점점 더 규모가 커지고 복잡해졌으며, 여러 소프트웨어 팀이 개발한 여러 구성 요소가 결합된 형태로 만들어지는 경우가 많습니다. 이런 환경에서는 소프트웨어의 견고성(robustness)과 신뢰성(reliability)을 확보하는 일이 점점 더 어려운 과제가 되고 있습니다.
흥미롭게도 버그가 있는 프로그램의 실행 결과를 분석하는 작업은 본질적으로 하나의 데이터 마이닝 프로세스입니다. 프로그램 실행 중 생성되는 데이터를 추적하면 중요한 패턴과 이상치(outlier)를 발견할 수 있으며, 이를 통해 궁극적으로 소프트웨어 버그의 자동 발견까지 이뤄낼 수 있습니다.
마무리
데이터 마이닝은 응용 분야 확장, 확장성과 상호작용성 강화, 데이터베이스 환경과의 통합, 언어 표준화, 시각화, 소프트웨어 엔지니어링과의 융합이라는 여섯 가지 방향으로 진화하고 있습니다. 이러한 트렌드를 이해하면 기업과 연구자 모두 데이터 마이닝 기술을 더욱 효과적으로 전략적으로 활용할 수 있을 것입니다.