데이터 마이닝이란 무엇인가?
데이터 마이닝(Data Mining)은 저장소에 축적된 대량의 데이터 속에서 통계학·수학 기법을 포함한 패턴 인식 기술을 활용하여 유용한 새로운 상관관계, 패턴, 추세를 발견하는 과정입니다. 이는 사실에 기반한 데이터셋을 분석해 예상치 못한 관계를 찾아내고, 데이터 소유자에게 논리적이면서도 실질적으로 도움이 되는 새로운 방식으로 레코드를 요약하는 작업입니다.
동시에 데이터 마이닝은 방대한 양의 정보를 선택·탐색·모델링하여, 처음에는 알려지지 않았던 규칙성이나 관계를 찾아냄으로써 데이터베이스 소유자에게 명확하고 유익한 결과를 제공하는 절차이기도 합니다.
데이터 마이닝은 데이터 과학(Data Science)과 성격이 유사합니다. 특정 상황에서 특정 목표를 가진 사람이 특정 데이터셋을 대상으로 수행하며, 텍스트 마이닝, 웹 마이닝, 오디오·비디오 마이닝, 이미지 데이터 마이닝, 소셜 미디어 마이닝 등 다양한 유형의 서비스를 포함합니다. 간단한 소프트웨어부터 고도로 전문화된 도구까지 폭넓게 활용됩니다.
메타룰(Metarule)의 역할
메타룰은 사용자가 마이닝하고자 하는 규칙의 구문 형태(syntactic form)를 직접 정의할 수 있게 해주는 강력한 도구입니다. 이렇게 정의된 규칙 형태는 제약 조건으로 작동하여 마이닝 과정의 효율성을 크게 향상시킵니다. 메타룰은 분석가의 경험, 기대, 직관에 기반해 데이터에 대해 설정할 수도 있고, 데이터베이스 스키마를 바탕으로 자동 생성할 수도 있습니다.
메타룰 기반 마이닝(Metarule-Guided Mining)
AllElectronics의 시장 분석가라고 가정해 보겠습니다. 분석가는 고객 정보(연령, 주소, 신용 등급 등)와 고객 거래 내역 데이터에 자유롭게 접근할 수 있습니다.
분석가는 고객의 특성과 구매 상품 간의 연관성을 찾을 수 있지만, 이러한 관계를 반영하는 모든 연관 규칙을 일일이 찾기보다는 어떤 고객 특성 조합이 오피스 소프트웨어 판매를 촉진하는지에만 집중하고 싶을 수 있습니다.
이럴 때 활용할 수 있는 메타룰의 예시는 다음과 같습니다.
P1(X, Y) ∧ P2(X, W) ⇒ buys(X, "office software")
여기서 P1과 P2는 술어 변수(predicate variable)로, 마이닝 과정에서 주어진 데이터베이스의 속성으로 인스턴스화됩니다. X는 고객을 나타내는 변수이며, Y와 W는 각각 P1과 P2에 할당된 속성 값을 가집니다.
일반적으로 사용자는 P1과 P2로 인스턴스화할 속성 목록을 직접 정의할 수 있으며, 별도로 지정하지 않으면 기본 집합(default set)이 사용됩니다.
메타룰이 만드는 가설과 규칙 탐색
본질적으로 메타룰은 사용자가 인식하거나 검증하고자 하는 관계에 대한 하나의 가설을 형성합니다. 데이터 마이닝 시스템은 이 메타룰에 부합하는 규칙만을 선별적으로 탐색합니다. 예를 들면 다음과 같습니다.
age(X, "30...39") ∧ income(X, "41K...60K") ⇒ buys(X, "office software")
이 규칙은 30~39세이며 연간 소득이 4만 1천 달러에서 6만 달러 사이인 고객이 오피스 소프트웨어를 구매할 가능성이 높다는 연관성을 보여줍니다. 이처럼 메타룰을 활용하면 방대한 데이터에서 불필요한 규칙 탐색을 줄일 수 있고, 분석가가 실제로 필요로 하는 의미 있는 규칙만을 효율적으로 추출할 수 있습니다. 결과적으로 마이닝 속도가 빨라지고, 노이즈가 많은 무의미한 규칙으로 인한 분석 부담도 크게 감소합니다.