데이터 마이닝이란 무엇인가?
데이터 마이닝(Data Mining)은 저장소에 보관된 방대한 양의 데이터를 통계학·수학적 기법을 포함한 패턴 인식 기술로 분석하여, 유용한 새로운 상관관계, 패턴, 트렌드를 발견하는 절차입니다. 이는 사실에 기반한 데이터셋을 분석해 예상치 못한 관계를 찾아내고, 데이터 소유자에게 논리적이면서도 실질적으로 도움이 되는 새로운 방식으로 기록을 요약하는 작업을 의미합니다.
또한 데이터 마이닝은 대량의 정보를 선택·탐색·모델링하는 과정으로, 처음에는 알려지지 않았던 규칙성이나 관계를 찾아 데이터베이스 소유자에게 명확하고 유익한 결과를 제공하는 것을 목표로 합니다.
단순한 알고리즘을 넘어선 비즈니스 인텔리전스
데이터 마이닝은 컴퓨터 알고리즘이나 통계 기법에만 국한되지 않습니다. 정보 기술(IT)과 결합하여 기업의 의사결정을 지원하는 비즈니스 인텔리전스(BI) 프로세스이기도 합니다.
데이터 마이닝은 데이터 과학(Data Science)과 성격이 유사합니다. 특정 상황 속에서 사람이 목적을 가지고 특정 데이터셋에 대해 수행하며, 텍스트 마이닝, 웹 마이닝, 오디오·비디오 마이닝, 이미지 데이터 마이닝, 소셜 미디어 마이닝 등 다양한 유형의 서비스를 포함합니다. 간단한 소프트웨어부터 고도로 전문화된 솔루션까지 폭넓은 도구를 통해 수행됩니다.
데이터 마이닝이 주목받는 이유
최근 몇 년간 데이터 마이닝은 정보 시장과 사회 전반에서 큰 관심을 받아왔습니다. 그 핵심 동기는 다음과 같습니다.
- 방대한 데이터의 확산: 빅데이터가 폭넓게 축적되고 확보 가능해졌습니다.
- 데이터의 가치 전환 필요성: 원시 데이터를 유용한 정보와 지식으로 변환해야 할 수요가 급증했습니다.
이렇게 얻어진 정보와 지식은 산업 분석, 사기 탐지, 고객 유지부터 생산 관리, 과학 탐사에 이르기까지 매우 다양한 분야에서 활용됩니다.
데이터 기술의 자연스러운 진화 결과
데이터 마이닝은 데이터 기술이 자연스럽게 발전해 온 결과물로 볼 수 있습니다. 데이터베이스 시스템 시장은 다음과 같은 단계를 거치며 진화해 왔습니다.
- 데이터 수집 및 데이터베이스 생성
- 데이터 관리 (저장·검색, 질의 및 트랜잭션 처리)
- 고급 데이터 분석
예를 들어, 초기의 데이터 수집 및 데이터베이스 생성 구조의 발전은 이후 효율적인 데이터 저장·검색 체계와 질의(query), 트랜잭션 처리 구조가 등장하는 데 필수적인 토대가 되었습니다. 그리고 다양한 데이터베이스 시스템에서 질의와 트랜잭션 처리가 일반적인 관행으로 자리 잡으면서, 고급 데이터 분석이 자연스럽게 다음 단계의 목표로 떠오르게 된 것입니다.
데이터 웨어하우스와 OLAP의 역할
데이터는 여러 유형의 데이터베이스와 데이터 저장소에 보관될 수 있습니다. 그중 대표적인 것이 바로 데이터 웨어하우스(Data Warehouse)입니다. 데이터 웨어하우스는 서로 다른 여러 이종(heterogeneous) 데이터 소스를 통합된 스키마 아래 한곳에 정리하여, 경영진의 의사결정을 지원하는 저장소입니다.
데이터 웨어하우스 기술에는 다음과 같은 핵심 요소가 포함됩니다.
- 데이터 클렌징(Data Cleaning): 오류와 불일치를 제거하여 데이터 품질을 확보
- 데이터 통합(Data Integration): 분산된 데이터를 일관된 형태로 결합
- 온라인 분석 처리(OLAP): 요약, 통합, 집계 기능을 갖춘 분석 기법으로, 데이터를 다각도에서 조회·분석할 수 있는 능력 제공
이처럼 데이터 마이닝은 폭발적으로 증가하는 데이터를 실질적인 비즈니스 가치로 전환하기 위한 필수 기술로, 앞으로도 그 중요성은 더욱 커질 것으로 전망됩니다.