빈발 패턴 마이닝이란?
빈발 패턴 마이닝(Frequent Pattern Mining)은 대규모 데이터 속에서 자주 함께 나타나는 항목, 부분 수열, 부분 구조 등을 찾아내는 데이터 마이닝의 핵심 기법입니다. 이러한 빈발 패턴 마이닝은 어떤 기준에 따라 여러 유형으로 분류할 수 있습니다. 지금부터 그 주요 기준들을 하나씩 살펴보겠습니다.
1. 마이닝할 패턴의 완전성에 따른 분류
최소 지지도 임계값(minimum support threshold)이 주어지면, 전체 빈발 아이템셋(frequent itemsets), 폐쇄 빈발 아이템셋(closed frequent itemsets), 최대 빈발 아이템셋(maximal frequent itemsets)을 모두 추출할 수 있습니다.
그 외에도 목적에 따라 다양한 변형 유형이 존재합니다.
- 제약 기반 빈발 아이템셋 : 사용자가 정의한 제약 조건 집합을 만족하는 아이템셋
- 근사 빈발 아이템셋 : 마이닝된 아이템셋의 지지도를 근사치로 허용하는 방식
- 유사 일치 빈발 아이템셋 : 서로 비슷하게 일치하는 아이템셋들의 지지도를 함께 계산
- 상위 k개 빈발 아이템셋(Top-k) : 사용자가 지정한 k 값에 대해 가장 빈번한 k개의 아이템셋
응용 분야마다 마이닝할 패턴의 완전성에 대한 요구 사항이 다르기 때문에, 이에 맞는 서로 다른 연산 방식과 최적화 기법이 필요합니다.
2. 규칙 집합에 포함된 추상화 수준에 따른 분류
연관 규칙 마이닝 기법 중에는 여러 추상화 수준에서 규칙을 동시에 발견하는 방법이 있습니다. 예를 들어 X가 고객을 나타내는 변수일 때, 다음과 같은 규칙들이 마이닝될 수 있습니다.
buys(X, "컴퓨터") ⇒ buys(X, "HP 프린터")
buys(X, "노트북 컴퓨터") ⇒ buys(X, "HP 프린터")
첫 번째 규칙은 상위 개념인 '컴퓨터'를, 두 번째 규칙은 하위 개념인 '노트북 컴퓨터'를 다루므로 서로 다른 추상화 수준의 규칙이라고 볼 수 있습니다.
3. 규칙에 포함된 데이터 차원의 수에 따른 분류
연관 규칙의 항목이나 속성이 오직 하나의 차원만 참조한다면, 이를 단일 차원(single-dimensional) 연관 규칙이라고 합니다. 반대로 여러 차원에 걸친 속성을 참조하면 다차원(multidimensional) 연관 규칙이 됩니다.
4. 규칙에서 다루는 값의 유형에 따른 분류
규칙이 항목의 존재와 부재 사이의 연관성을 다룬다면 불리언(Boolean) 연관 규칙입니다. 반면 정량적 항목이나 속성 간의 연관성을 다룬다면 정량적(quantitative) 연관 규칙이며, 이 경우 수치 값들은 분석 편의를 위해 구간(interval)으로 나누어 처리됩니다.
5. 마이닝할 규칙의 종류에 따른 분류
빈발 패턴 분석은 다양한 종류의 규칙과 흥미로운 관계를 도출해낼 수 있습니다. 그중에서 연관 규칙(association rules)이 빈발 패턴으로부터 생성되는 규칙 중 가장 널리 알려진 형태입니다.
6. 마이닝할 패턴의 종류에 따른 분류
데이터 집합의 종류에 따라 여러 형태의 빈발 패턴을 마이닝할 수 있습니다. 가장 대표적인 것이 트랜잭션 또는 관계형 데이터에서 빈발 아이템셋(항목의 집합)을 찾는 빈발 아이템셋 마이닝입니다.
순차 패턴 마이닝(sequential pattern mining)은 이벤트의 순서로 구성된 시퀀스 데이터에서 빈발 부분 수열을 탐색하는 기법입니다. 예를 들어 소비자가 PC를 먼저 구매한 뒤 디지털 카메라를, 그다음 메모리 카드를 순서대로 구매하는 경향처럼, 항목이 구매되는 일련의 순서를 분석하는 데 활용될 수 있습니다.