데이터 마이닝이란 무엇인가?
데이터 마이닝(Data Mining)은 대량의 정보를 선별·탐색·모델링하는 일련의 과정을 의미합니다. 이 과정을 통해 처음에는 알려지지 않았던 규칙성이나 상관관계를 발견하고, 데이터베이스 소유자에게 명확하면서도 실질적으로 유용한 결과를 도출할 수 있습니다.
여러 학문이 융합된 학제간 분야
데이터 마이닝은 단일 학문이 아닌 여러 분야가 결합된 학제간(interdisciplinary) 연구 영역입니다. 데이터베이스 시스템, 통계학, 머신러닝, 시각화, 데이터 과학 등이 유기적으로 어우러져 있으며, 활용되는 방법론에 따라 인공 신경망, 퍼지 이론 및 러프 집합 이론, 지식 표현, 귀납 논리 프로그래밍, 고성능 컴퓨팅 등 타 분야의 접근 방식도 함께 사용됩니다.
또한 마이닝 대상 데이터의 유형이나 적용 분야에 따라 공간 데이터 분석, 데이터 검색, 패턴 식별, 이미지 분석, 신호 처리, 컴퓨터 그래픽스, 네트워크 기술, 경제학, 경영학, 바이오인포매틱스, 심리학 등의 방법론이 통합되기도 합니다.
데이터 마이닝 질의 언어의 역할
데이터 마이닝 질의 언어(Data Mining Query Language)는 다양한 기본 요소들을 포함하도록 설계될 수 있으며, 이를 통해 사용자는 데이터 마이닝 시스템과 유연하게 상호작용할 수 있습니다. 이러한 질의 언어 위에서는 사용자 친화적인 그래픽 인터페이스를 손쉽게 구축할 수 있고, 데이터 마이닝 시스템이 다른 데이터 시스템과 소통하며 전체 데이터 처리 환경에 원활하게 통합되는 데에도 큰 도움이 됩니다.
다만 포괄적인 데이터 마이닝 언어를 설계하는 것은 결코 쉬운 일이 아닙니다. 데이터 마이닝은 데이터 특성화(data characterization)부터 진화 분석(evolution analysis)에 이르기까지 매우 폭넓은 기능을 아우르며, 각 작업마다 서로 다른 요구 사항을 가지고 있기 때문입니다. 따라서 효과적인 질의 언어를 설계하려면 다양한 데이터 마이닝 작업의 강점, 한계, 그리고 내부 구조에 대한 폭넓은 이해가 반드시 필요합니다.
기술적 마이닝과 예측적 마이닝
데이터 마이닝의 기능(functionality)은 마이닝 작업에서 어떤 유형의 패턴을 발견해야 하는지를 정의하는 역할을 합니다. 일반적으로 데이터 마이닝 작업은 두 가지 유형으로 분류할 수 있습니다.
- 기술적(Descriptive) 마이닝: 데이터베이스 내 데이터의 일반적인 특징과 속성을 규명하는 작업입니다.
- 예측적(Predictive) 마이닝: 현재 보유한 정보를 바탕으로 추론을 수행하여 미래 값을 예측하는 작업입니다.
데이터 마이닝 시스템의 6대 핵심 구성 요소
데이터 마이닝 시스템은 다음과 같은 주요 구성 요소들로 이루어져 있습니다.
- 데이터베이스(Database): 하나 또는 여러 개의 데이터베이스, 데이터 웨어하우스, 스프레드시트 등 다양한 형태의 데이터 저장소를 의미합니다. 이곳에서는 데이터 클렌징(정제)과 통합 기법이 적용됩니다.
- 데이터 웨어하우스 서버(Data Warehouse Server): 사용자의 요청에 따라 데이터 웨어하우스로부터 관련 있는 레코드를 가져오는 역할을 담당합니다.
- 지식 베이스(Knowledge Base): 흥미로운 패턴을 발견하는 데 활용되는 지식 도메인입니다.
- 데이터 마이닝 엔진(Data Mining Engine): 분류(classification), 연관 분석(association), 군집 분석(cluster analysis) 등 핵심 마이닝 작업을 수행하는 기능 모듈입니다.
- 패턴 평가 모듈(Pattern Evaluation Module): 흥미도(interestingness) 측정 기준을 활용해 데이터 마이닝 모듈과 상호작용하면서, 탐색 방향을 의미 있는 패턴에 집중하도록 유도합니다.
- 사용자 인터페이스(User Interface): 사용자가 그래픽 사용자 인터페이스(GUI)를 통해 데이터 마이닝 기능이나 질의를 정의하고 시스템과 소통할 수 있게 해주는 창구입니다.