시간 데이터 마이닝의 정의
시간 데이터 마이닝(Temporal Data Mining)은 대규모 시간 데이터 집합에서 자명하지 않으면서도(non-trivial), 암묵적이며 잠재적으로 중요한 가치를 지닌 정보를 추출하는 과정을 의미합니다. 여기서 시간 데이터(temporal data)는 일반적으로 수치 값으로 구성된 기본 데이터 유형들의 연속된 계열을 뜻하며, 이러한 데이터로부터 유용한 지식을 도출하는 것이 핵심 목표입니다.
시간 데이터 마이닝의 목표
시간 데이터 마이닝의 궁극적인 목표는 머신러닝, 통계학, 데이터베이스 기술 등 다양한 접근 방식을 활용하여 상위 순차 데이터(higher sequential data) 속에 숨겨진 시간 패턴, 예상치 못한 추세, 그리고 여러 잠재 관계를 발견하는 것입니다.
여기서 다루는 순차 데이터는 크게 두 가지로 나뉩니다.
- 시간 시퀀스(Temporal Sequence): 알파벳으로 구성된 명목형 기호(nominal symbols)의 연속
- 시계열(Time Series): 연속적인 실수 값 요소들의 연속
시간 데이터 마이닝의 세 가지 핵심 작업
시간 데이터 마이닝은 크게 다음 세 가지 주요 작업으로 구성됩니다.
- 시간 데이터의 기술(Description): 데이터의 특성과 구조를 체계적으로 표현하는 단계
- 유사도 측정(Similarity Measure)의 표현: 데이터 간 유사성을 정량화하는 방법 정의
- 마이닝 서비스(Mining Services): 실제 패턴 발굴 및 분석을 수행하는 단계
시계열 처리와 패턴 매칭
시간 데이터 마이닝에는 일반적으로 데이터 시퀀스 형태의 시계열 처리가 포함되며, 이는 여러 시점에서 동일한 속성의 값을 계산하는 작업을 다룹니다. 특히 최근 몇 년간 관심 있는 특정 패턴을 찾아내는 패턴 매칭(pattern matching) 기법이 큰 주목을 받고 있습니다.
또한 시간 데이터베이스를 위해 발전해 온 효율적인 데이터 저장 기술, 빠른 처리 방식, 신속한 검색 방법론을 활용하는 것도 시간 데이터 마이닝의 중요한 부분입니다.
지식 발견 프로세스에서의 위치
시간 데이터 마이닝은 시간 데이터베이스에서 지식을 발견하는 과정(KDD, Knowledge Discovery in Databases) 내의 독립적인 단계입니다. 즉, 시간 데이터로부터 시간 패턴을 도출하거나 모델을 적합화(fitting)하는 알고리즘이 바로 시간 데이터 마이닝 알고리즘입니다.
이 기술은 시간 데이터를 분석하고 시간 정보 집합 속에서 패턴과 일관성을 발견하는 데 초점을 맞추며, 컴퓨터가 주도하는 자동화된 데이터 탐색도 가능하게 합니다.
시간 마이닝의 주요 작업 목록
- 데이터 특성 분석 및 비교(Data Characterization and Comparison)
- 군집 분석(Clustering Analysis)
- 분류(Classification)
- 연관 규칙(Association Rules)
- 패턴 분석(Pattern Analysis)
- 예측 및 추세 분석(Prediction and Trend Analysis)
더 추상적인 질의와 데이터 탐색
시간 데이터 마이닝은 시간 데이터베이스와 상호작용하는 새로운 방식을 제시합니다. 기존의 시간 구조화 질의 언어(Temporal SQL)가 허용하는 수준보다 훨씬 더 추상적인 수준에서 질의(query)를 지정할 수 있게 해주며, 복수성(multiplicity)과 다차원성(multi-dimensionality)으로 인해 발생하는 문제들에 대한 데이터 탐색도 용이하게 만듭니다.
시간 분류(Temporal Classification)의 기본 목표
시간 분류의 기본적인 목표는 시간 데이터베이스 내의 다른 필드들을 기반으로 시간적으로 연관된 필드의 값을 예측하는 것입니다. 일반적으로 이 문제는 다음 요소들을 고려하여 예측하려는 시간 변수의 일반적인 값을 결정하는 형태로 정의됩니다.
- 예측 대상이 되는 다양한 필드들
- 각 관측값마다 목표 변수(target variable)가 주어진 학습 데이터(training data)
- 문제에 대한 사전 지식을 나타내는 일련의 가정
이러한 시간 분류 기법은 밀도 추정(density estimation)이라는 복잡한 문제와 밀접하게 연관되어 있습니다.