가설 검정이란 무엇인가?
가설 검정(hypothesis testing)은 기업의 의사결정 과정에 데이터를 통합하는 가장 간단하면서도 강력한 접근 방식입니다. 가설 검정의 목적은 미리 세워진 생각이나 선입견을 입증하거나 반박하는 것이며, 거의 모든 데이터 마이닝 작업에 필수적인 요소로 자리 잡고 있습니다.
데이터 분석가는 여러 방법론 사이를 오가며 작업합니다. 먼저 관찰된 행동에 대한 가능한 설명을 떠올리고, 그 가설이 검증할 데이터의 방향을 결정하게 하는 방식입니다.
가설 검정의 기본 개념
가설 검정은 과학자와 통계학자들이 전통적으로 평생을 바쳐 수행해 온 작업입니다. 여기서 가설(hypothesis)이란 데이터 분석을 통해 타당성을 검증할 수 있는 하나의 '제안된 설명'을 의미합니다. 이러한 검증에 필요한 정보는 단순한 관찰을 통해 수집할 수도 있고, 실험을 통해 직접 만들어낼 수도 있습니다. 대표적인 예로 마케팅에서 활용되는 테스트 메일링(test mailing)이 있습니다.
가설 검정이 빛을 발하는 순간
가설 검정은 조직의 행동을 이끌어 온 기존 가정이 틀렸음을 밝혀낼 때 가장 큰 가치를 발휘합니다.
예를 들어, 어떤 조직의 광고 전략이 제품·서비스의 목표 시장과 소비자 반응 특성에 대한 여러 가설 위에 세워져 있다고 가정해 보겠습니다. 이러한 가설이 실제 고객 반응으로 입증되는지 검증해 볼 가치는 충분히 있습니다.
한 가지 실용적인 방법은 광고마다 서로 다른 연락 전화번호를 부여하고, 각 응답자가 어느 번호로 전화했는지를 기록하는 것입니다. 이후 통화 과정에서 수집한 정보를 해당 광고가 겨냥한 타깃 인구 집단의 특성과 비교하면, 광고 가설의 적합성을 객관적으로 평가할 수 있습니다.
좋은 가설을 만드는 핵심 요소
유의미한 가설을 도출하는 열쇠는 조직 내부 전체, 그리고 필요하다면 외부까지 포함해 다양한 의견을 수렴하는 것입니다. 의외로 아이디어가 흐르기 시작하는 데 필요한 것은 문제 자체에 대한 명확한 진술뿐인 경우가 많습니다. 특히 그 문제가 지금까지 아무도 문제로 인식하지 못했던 사항이라면 더욱 그렇습니다.
조직의 성과를 평가하는 데 쓰이는 지표가 문제를 포착하지 못해 문제 자체가 간과되는 경우는 생각보다 훨씬 흔합니다.
예를 들어, 어떤 조직이 매달 발생한 신규 판매 건수만으로 영업팀의 성과를 평가해 왔다면, 영업사원은 신규 고객이 얼마나 오랫동안 활성 상태를 유지하는지, 혹은 고객과의 관계가 지속되는 동안 총얼마를 지출하는지에 대해 깊이 고민해 본 적이 없을 것입니다. 평가 지표가 좁으면 시야도 좁아지는 셈입니다.
가설 검정의 한계와 모델의 등장
가설 검정은 분명히 유용한 도구지만, 어느 시점부터는 그만한 충분성을 갖추지 못합니다. 이미 알고 있는 가설을 확인하는 데 그칠 수 있기 때문입니다. 이때 필요한 것이 데이터로부터 새로운 통찰을 배우는 접근법이며, 본격적인 데이터 마이닝 기법은 모두 데이터 기반 모델을 구축해 새로운 것을 학습하도록 설계되었습니다.
가장 일반적인 의미에서 모델(model)이란 어떤 대상이 작동하는 방식에 대한 설명 또는 묘사로, 현실을 충분히 잘 반영하여 실제 세계에 대한 추론에 활용할 수 있는 것을 말합니다. 가설 검정이 '알고 있는 것을 확인하는 단계'라면, 모델링은 '모르는 것을 발견하는 단계'라고 할 수 있습니다.