예외 지표로 활용되는 세 가지 측정값
데이터 이상 현상(data anomaly)을 식별하는 데 도움을 주기 위해 세 가지 측정값이 예외 지표로 사용됩니다. 이 측정값들은 셀(cell)에 담긴 값이 기대값(expected value)과 비교하여 어느 정도의 '놀람의 정도(degree of surprise)'를 보이는지를 나타냅니다.
해당 측정값들은 모든 집계 수준(aggregation level)에 있는 모든 셀마다 계산되어 연결됩니다. SelfExp, InExp, PathExp로 불리는 이 세 가지 측정값은 표 분석을 위한 수치적 방법론에 기반을 둡니다.
예외 판정의 핵심: 잔차(Residual)
특정 셀 값이 예외(exception)로 간주되는지는 그 값이 기대값과 얼마나 차이가 나는지에 따라 결정됩니다. 여기서 기대값은 통계 모델(statistical model)을 통해 산출됩니다. 주어진 셀 값과 기대값 사이의 차이를 잔차(residual)라고 부릅니다.
직관적으로 생각하면 잔차가 클수록 해당 셀 값이 예외일 가능성이 커집니다. 다만 서로 다른 잔차 값을 공정하게 비교하려면, 잔차와 관련된 기대 표준편차(expected standard deviation)를 기준으로 값을 조정(scaling)해야 합니다. 따라서 조정된 잔차 값(scaled residual)이 미리 정해진 임계값(threshold)을 초과하면 그 셀 값은 예외로 판정됩니다.
기대값은 어떻게 결정되는가?
SelfExp, InExp, PathExp 측정값은 모두 앞서 설명한 조정된 잔차에 기반합니다. 한 셀의 기대값은 그 셀이 속한 상위 수준 group-by 연산들에 대한 함수로 정의됩니다.
예를 들어, A, B, C라는 세 개의 차원으로 구성된 큐브에서 A의 i번째 위치, B의 j번째 위치, C의 k번째 위치에 있는 셀의 기대값은 γ, γAi, γBj, γCk, γABij, γACik, γBCjk의 함수입니다. 이들은 사용된 수치 모델의 계수(coefficient)들입니다.
이 계수들은 상위 수준의 집계를 관찰하며 형성된 일반화된 인상을 바탕으로, 하위 수준의 값들이 얼마나 다른지를 반영합니다. 즉, 이 접근 방식에서는 셀 값의 예외 여부가 그 아래에 있는 값들의 예외에 좌우됩니다. 그렇기 때문에 사용자가 예외를 발견했을 때는 드릴다운(drill-down)을 통해 해당 예외를 분석하는 것이 필수적입니다.
예외 값 계산의 3단계 프로세스
예외 값 계산은 크게 다음의 세 단계로 진행됩니다.
1단계: 집계 값 계산
큐브를 정의하는 sum 또는 count와 같은 집계 값(aggregate values)을 계산합니다. 예외 탐색은 바로 이 집계 값들을 대상으로 수행됩니다.
2단계: 모델 피팅(Model Fitting)
모델의 계수들을 결정하고, 이를 이용해 표준화 잔차(standardized residuals)를 계산합니다. 이 단계의 계산 과정은 1단계와 동일하기 때문에 1단계와 겹쳐서 동시에 처리할 수 있습니다.
3단계: 예외 측정값 산출
표준화 잔차를 기반으로 SelfExp, InExp, PathExp 값을 계산합니다. 이 단계는 계산량 면에서 1단계와 동일합니다. 결과적으로, 발견 기반 탐색(discovery-driven exploration)을 위한 데이터 큐브 계산은 매우 효율적으로 완료될 수 있습니다.