데이터 마이닝이란 무엇인가?
데이터 마이닝(Data Mining)은 저장소에 축적된 방대한 데이터를 통계학 및 수학적 기법을 포함한 패턴 인식 기술로 분석하여, 유용한 새로운 상관관계·패턴·추세를 발견하는 과정입니다. 이는 사실에 기반한 데이터셋을 분석해 예상치 못한 관계를 찾아내고, 데이터 소유자에게 논리적이면서도 실질적으로 도움이 되는 새로운 방식으로 기록을 요약하는 작업입니다.
또한 데이터 마이닝은 대량의 정보를 선택·탐색·모델링하여, 처음에는 알려지지 않았던 규칙성이나 관계를 밝혀냄으로써 데이터베이스 소유자에게 명확하고 유익한 결과를 제공하는 절차라고 정의할 수 있습니다.
데이터 마이닝의 특징과 다양한 유형
데이터 마이닝은 데이터 사이언스와 유사한 개념으로, 특정 목표를 가진 사람이 구체적인 상황 속에서 특정 데이터셋을 대상으로 수행합니다. 이 과정에는 텍스트 마이닝, 웹 마이닝, 오디오 및 비디오 마이닝, 이미지 데이터 마이닝, 소셜 미디어 마이닝 등 여러 유형의 서비스가 포함되며, 간단한 소프트웨어부터 고도로 전문화된 도구까지 다양한 프로그램을 통해 수행됩니다.
데이터 마이닝을 외주화하면 낮은 운영 비용으로 모든 업무를 더 빠르게 처리할 수 있습니다. 전문 업체들은 최신 기술을 활용해 수작업으로는 찾기 어려운 데이터까지 효율적으로 저장하고 활용할 수 있습니다. 여러 플랫폼에 셀 수 없이 많은 데이터가 존재하지만, 실제로 활용 가능한 지식은 극히 제한적인 것이 현실입니다.
데이터 마이닝의 다양한 명칭
데이터 속에서 유용한 패턴을 찾는 이러한 접근 방식은 '데이터 마이닝' 외에도 지식 추출(knowledge extraction), 데이터 디스커버리(data discovery), 데이터 하베스팅(data harvesting), 데이터 아키폴로지(data archaeology), 데이터 패턴 처리(data pattern processing) 등 여러 이름으로 불려 왔습니다. 데이터 마이닝은 통계학자, 데이터 분석가, 그리고 경영정보시스템(MIS) 분야 전문가들에 의해 폭넓게 활용되어 왔으며, 이후 데이터베이스 분야에서도 인기를 얻게 되었습니다.
KDD의 탄생: 1989년 첫 워크숍
데이터베이스에서 지식을 발견하는 과정, 즉 KDD(Knowledge Discovery in Databases)는 1989년 열린 첫 번째 KDD 워크숍(Piatetsky-Shapiro, 1991)에서 공식적으로 탄생했습니다. 이 개념은 지식이야말로 데이터 기반 발견의 최종 산물이라는 인식을 담고 있으며, 이후 인공지능과 머신러닝 분야에서 널리 알려지게 되었습니다.
KDD 프로세스와 데이터 마이닝의 차이
KDD는 데이터로부터 유용한 지식을 발견하는 전체 과정을 의미하는 반면, 데이터 마이닝은 그 과정 중 하나의 특정 단계를 가리킵니다. 즉, 데이터 마이닝은 데이터에서 패턴을 추출하기 위해 특정 알고리즘을 적용하는 작업입니다. KDD 프로세스 전체와 그 안에서의 데이터 마이닝 단계를 구분하는 것이 이 주제의 핵심입니다.
KDD 프로세스의 나머지 단계들, 즉 데이터 준비, 데이터 선택, 데이터 정제, 적절한 사전 지식의 통합, 그리고 마이닝 결과에 대한 올바른 분석은 데이터가 진정으로 유용한 지식으로 전환되도록 보장하는 데 필수적입니다.
데이터 드레징의 위험성
데이터 마이닝 기법을 무분별하게 적용하는 것(통계학 문헌에서는 '데이터 드레징(data dredging)'이라고 부르며 적극적으로 경고합니다)은 위험한 행위가 될 수 있습니다. 이는 의미 없고 타당성 없는 패턴을 쉽게 발견하게 만들어 잘못된 결론으로 이어질 수 있기 때문입니다. 따라서 신뢰할 수 있는 결과를 얻으려면 체계적인 KDD 프로세스 전반을 준수하는 것이 중요합니다.