데이터 마이닝에서 예측 변수 선택의 중요성
데이터 마이닝에서 자주 마주치는 문제 중 하나는 종속변수의 값을 예측하기 위해 회귀식을 활용할 때, 모델에 포함할 수 있는 후보 예측 변수가 너무 많다는 점입니다.
게다가 여러 변수를 포함하면 기존에 숨겨져 있던 관계가 드러날 것이라는 기대도 변수 증가를 부추깁니다. 실제로 어떤 기업은 의자와 테이블 다리 보호용 스크래치 방지 커버를 구매한 고객의 신용 위험이 더 낮다는 사실을 발견한 사례가 있습니다.
하지만 가능한 모든 변수를 모델에 무분별하게 투입하기 전에 신중을 기해야 할 이유는 여럿 있습니다.
- 예측에 필요한 모든 예측 변수를 수집하는 데 비용이 많이 들거나 현실적으로 불가능할 수 있습니다.
- 적은 수의 예측 변수를 더 정확하게 측정하고 계산할 수 있습니다(예: 설문조사).
- 예측 변수가 많아질수록 데이터에 결측값이 존재할 확률이 높아집니다. 결측값이 있는 레코드를 삭제하거나 대체(imputation)해야 하는 상황이라면, 예측 변수가 많을수록 레코드 삭제·대체 비율이 그만큼 올라갑니다.
- 간결성(parsimony)은 좋은 모델의 핵심 특징입니다. 매개변수가 적은 모델일수록 각 예측 변수가 미치는 영향을 더 명확하게 파악할 수 있습니다.
- 변수가 많은 모델에서는 다중공선성(multicollinearity) 때문에 회귀계수 추정치가 불안정해질 수 있습니다. 다중공선성이란 두 개 이상의 예측 변수가 결과 변수와 동일한 선형 관계를 공유하는 상황을 말합니다.
- 간결한 모델일수록 회귀계수가 더 안정적입니다. 대략적인 경험 법칙으로, 레코드 수 n이 5(p + 2)보다 커야 한다는 기준이 있습니다. 여기서 p는 예측 변수의 개수입니다.
- 결과 변수와 상관관계가 없는 예측 변수를 사용하면 예측값의 분산이 증가한다는 것이 입증되어 있습니다.
- 반대로 결과 변수와 상관관계가 있는 예측 변수를 제거하면 예측의 평균 오차, 즉 편향(bias)이 커질 수 있다는 것도 알려져 있습니다.
편향–분산 트레이드오프의 이해
마지막 두 가지 사항은 예측 변수가 너무 적어도 안 되고, 너무 많아도 안 된다는 균형점을 보여줍니다. 일반적으로 어느 정도의 편향을 감수하면 예측의 분산을 줄일 수 있습니다. 이러한 편향–분산 트레이드오프(bias–variance trade-off)는 예측 변수가 여러 개인 환경에서 특히 중요합니다. 노이즈의 표준편차에 비해 계수가 작으면서도 다른 변수들과 최소한 중간 정도의 상관관계를 보이는 변수가 모델에 포함되어 있기 쉽기 때문입니다.
이런 변수들을 제거하면 예측 분산이 줄어들어 전반적인 예측 성능이 향상됩니다. 이처럼 편향–분산 트레이드오프는 예측 및 분류를 위한 데이터 마이닝 절차에서 반드시 고려해야 할 핵심 요소입니다.