연관 규칙 마이닝(Association Rule Mining)은 데이터셋 내 항목들 간의 관계를 "A이면 B이다(If A, then B)" 형태의 규칙으로 발견하는 데이터 마이닝 기법입니다. 각 규칙은 지지도(support, 빈도)와 신뢰도(confidence, 신뢰성)라는 두 가지 지표로 평가됩니다.
다단계 연관 규칙 마이닝(Multilevel Association Rule Mining)은 이 개념을 한 단계 더 확장하여, 개별 제품과 제품 카테고리처럼 서로 다른 세분화(granularity) 수준에서 관계를 찾아내는 방법입니다.
연관 규칙의 기본: Apriori 알고리즘
연관 규칙 추출에는 Apriori 알고리즘이 가장 널리 사용됩니다. Apriori는 후보 아이템 집합(candidate itemset)을 반복적으로 생성한 뒤, 지정된 지지도·신뢰도 임계값에 미달하는 집합을 가지치기(pruning)하여 제거함으로써 효율적으로 규칙을 도출합니다.
다단계 마이닝에서는 데이터가 계층 구조로 조직됩니다. 예를 들어:
- Level 0: 전자제품(Electronics)
- Level 1: 노트북, 휴대폰, 태블릿
- Level 2: Dell, HP 등 개별 브랜드
다단계 연관 규칙의 유형
- 다차원(Multi-dimensional): 제품, 지역, 시간 등 서로 다른 차원 간의 관계를 분석합니다.
- 다단계(Multi-level): 개별 아이템 ↔ 카테고리처럼 서로 다른 세분화 수준 간의 관계를 분석합니다.
지지도 임계값 접근 방식
| 접근 방식 | 설명 | 트레이드오프 |
|---|---|---|
| 균일 지지도(Uniform Support) | 모든 수준에 동일한 임계값 적용 | 단순하지만 하위 수준의 패턴을 놓칠 수 있음 |
| 축소 지지도(Reduced Support) | 하위 수준에서 더 낮은 임계값 적용 | 더 많은 패턴을 발견할 수 있으나 계산량 증가 |
| 그룹 기반 지지도(Group-based Support) | 전문가가 그룹·카테고리별로 임계값 설정 | 가장 유연하지만 도메인 지식 필요 |
주요 응용 분야
- 소매(Retail): 고객 구매 행동 분석, 매장 내 상품 배치 최적화
- 의료(Healthcare): 질병 패턴 식별, 치료 최적화
- 사기 탐지(Fraud Detection): 금융 및 보험 분야의 이상 거래 탐지
- 웹 마이닝(Web Mining): 사용자 선호도 분석, 콘텐츠 개인화
- 소셜 네트워크(Social Networks): 커뮤니티 탐지, 인플루언서 식별
도전 과제
- 높은 차원성(High Dimensionality): 속성 수가 많아질수록 분석 복잡도가 크게 증가합니다.
- 대규모 데이터셋(Large Datasets): 레코드 수가 방대해질 경우 처리 속도가 느려집니다.
- 확장성(Scalability): 메모리에 적재하기 어려운 초대용량 데이터에는 분산 처리 방식이 요구됩니다.
결론
다단계 연관 규칙 마이닝은 단일 수준 분석에서는 발견하기 어려운, 서로 다른 세분화 수준의 숨겨진 관계를 밝혀냅니다. 지지도 임계값 방식(균일형, 축소형, 그룹 기반)의 선택은 패턴 발견 능력과 계산 비용 사이의 균형을 좌우하는 핵심 요소입니다. 이 기법은 소매, 의료, 사기 탐지, 웹 마이닝 등 다양한 산업 분야에서 폭넓게 활용되고 있습니다.