판별 분석의 두 가지 핵심 가정
판별 분석(discriminant analysis)은 분류 점수를 산출하기 위해 두 가지 주요 가정에 기반합니다. 첫 번째 가정은 각 클래스 내 예측 변수(predictor) 측정값이 다변량 정규분포(multivariate normal distribution)를 따른다는 것입니다. 이 가정이 어느 정도 충족될 경우, 판별 분석은 로지스틱 회귀(logistic regression)를 포함한 다른 분류 기법보다 더 강력한 도구로 작동합니다.
실제로 데이터가 다변량 정규분포를 따를 때 판별 분석은 로지스틱 회귀보다 약 30% 더 효율적인 것으로 나타났습니다. 즉, 동일한 결과를 얻기 위해 30% 적은 레코드만 필요하다는 의미입니다. 또한 이 방법은 정규성에서 벗어난 경우에도 비교적 강건(robust)한 것으로 알려져 있으며, 예측 변수가 정규분포를 따르지 않아도 되고 심지어 더미 변수(dummy variable)인 경우에도 활용할 수 있습니다.
다만 이러한 강건성은 가장 작은 클래스가 충분히 큰 경우(대략 20개 이상의 레코드)에 한해 유효합니다. 한편 판별 분석은 개별 예측 변수의 단변량 영역과 다변량 영역 모두에서 이상치(outlier)에 민감한 특성이 있습니다. 따라서 탐색적 분석(exploratory analysis)을 통해 극단값을 찾아내고, 해당 값들을 제거할 수 있는지 판단해야 합니다.
두 번째 가정: 클래스 간 동일한 상관 구조
판별 분석의 두 번째 가정은 클래스 내 여러 예측 변수 간의 상관 구조가 모든 클래스에서 동일하다는 것입니다. 이는 각 클래스별로 예측 변수들 간의 상관 행렬(correlation matrix)을 계산한 후, 행렬들을 서로 비교함으로써 검증할 수 있습니다.
클래스 간 상관 관계가 크게 다를 경우, 분류기는 변동성이 가장 큰 클래스로 레코드를 할당하는 경향을 보입니다. 상관 구조가 실질적으로 다르고 데이터셋이 클 때는 이차 판별 분석(quadratic discriminant analysis)을 대안으로 고려할 수 있습니다.
실무적인 접근 방법
현실적인 접근법은 정규성과 상관 구조에 대한 탐색적 분석을 먼저 수행하고, 모델을 학습 및 평가한 후, 분류 정확도와 초기 탐색에서 얻은 통찰을 바탕으로 이상치 처리 여부나 예측 변수 선택을 재검토하기 위해 다시 탐색 단계로 돌아가는 것입니다.
검증 데이터를 활용한 성능 평가
모델 성능 평가를 위해 검증 집합(validation set)을 활용해야 한다는 원칙은 여전히 유효합니다. 예를 들어, 잔디 깎는 기계(riding mowers) 데이터에서 1, 13, 17번 가구가 오분류되었다면, 모델이 이러한 레코드에 대해 12.5%의 오류율을 보인다는 의미입니다.
그러나 이 오류율은 편향된(biased) 측정값입니다. 분류 함수를 학습(fitting)하는 데 사용한 것과 동일한 데이터로 오류를 계산했기 때문에 낙관적인 수치가 됩니다. 따라서 다른 모델과 마찬가지로, 분류 함수 산출에 포함되지 않은 검증 집합에서 성능을 확인하는 것이 바람직합니다.
혼동 행렬(Confusion Matrix) 산출
판별 분석에서는 혼동 행렬을 얻을 수 있습니다. 이때 분류 점수(classification score) 자체를 사용하거나, 분류 점수로부터 계산된 소속 확률(propensity, 클래스 소속 확률)을 사용할 수 있습니다. 두 경우 모두 각 레코드의 클래스 할당은 가장 큰 점수 또는 확률에 따라 결정됩니다. 이렇게 도출된 분류 결과를 실제 클래스 소속과 비교하면 혼동 행렬이 완성됩니다.