일반화 선형 모델(GLM)이란?
일반화 선형 모델(Generalized Linear Models, GLM)은 선형 회귀 분석을 범주형 반응 변수의 모델링으로 확장할 수 있도록 뒷받침하는 이론적 기반입니다. 선형 회귀에서는 반응 변수 y의 분산이 일정하게 유지되지만, 일반화 선형 모델에서는 y의 분산이 y의 평균값에 대한 함수로 표현된다는 점이 가장 큰 차이입니다.
GLM은 전통적인 선형 모델의 확장 형태로, 로그 우도(log-likelihood)를 최대화하는 방식으로 데이터에 모델을 적합시킵니다. 또한 탄력적 네트(elastic net) 페널티를 활용하여 매개변수 정규화를 수행할 수 있습니다. 모델 적합 알고리즘은 병렬 처리가 가능해 실행 속도가 빠르며, 0이 아닌 계수를 가진 예측 변수가 많은 대규모 모델에서도 뛰어난 확장성을 보여줍니다.
일반화 선형 모델의 두 가지 대표 유형
대표적인 GLM에는 로지스틱 회귀와 포아송 회귀가 있습니다.
로지스틱 회귀는 여러 예측 변수들의 선형 함수를 통해 특정 사건이 발생할 확률을 모델링합니다. 포아송 회귀는 주로 계수 데이터(count data)를 다루는 데 사용되는데, 계수 데이터는 흔히 포아송 분포를 따르기 때문에 포아송 회귀로 모델링하는 것이 일반적입니다.
로그선형 모델(Log-linear Model)
로그선형 모델은 이산형 다차원 확률 분포를 근사하는 데 활용됩니다. 이를 사용하면 데이터 큐브의 각 셀(cell)과 관련된 확률값을 추정할 수 있습니다. 예를 들어 도시(city), 상품(item), 연도(year), 판매량(sales)이라는 속성에 대한 데이터가 있다고 가정해 보겠습니다. 로그선형 방식에서는 모든 속성이 범주형이어야 하므로, 판매량처럼 연속형인 속성은 반드시 이산화 과정을 거쳐야 합니다.
이 방법은 도시-상품, 도시-연도, 도시-판매량에 해당하는 2차원 큐보이드(cuboid)와 상품-연도-판매량에 해당하는 3차원 큐보이드를 바탕으로, 주어진 속성들로 구성된 4차원 기본 큐보이드(base cuboid)의 각 셀에 대한 확률을 추정합니다. 아울러 반복적인 접근 방식을 통해 저차원 데이터 큐브로부터 고차원 데이터 큐브를 생성할 수도 있습니다.
로그선형 모델은 차원이 많아져도 잘 확장됩니다. 예측 기능 외에도 데이터 압축(저차원 큐보이드가 기본 큐보이드보다 적은 공간을 차지하기 때문)과 데이터 스무딩(저차원 큐보이드의 셀 추정치가 기본 큐보이드보다 표본 변동의 영향을 덜 받기 때문)에도 유용하게 활용됩니다.
회귀 트리와 모델 트리
결정 트리 학습(decision tree induction)은 클래스 레이블뿐만 아니라 연속형(순서형) 값의 예측에도 적용할 수 있습니다. 예측에 사용되는 트리에는 회귀 트리(regression tree)와 모델 트리(model tree) 두 가지가 있으며, 회귀 트리는 CART 학습 시스템의 일부로 처음 제안되었습니다.
회귀 트리의 각 리프(leaf) 노드에는 연속형 예측값이 저장되며, 이는 해당 리프에 도달한 학습 튜플들이 가진 예측 속성의 평균값입니다. 반면 모델 트리에서는 각 리프 노드가 하나의 회귀 모델, 즉 예측 속성에 대한 다변량 선형 방정식을 담고 있다는 점이 다릅니다.
데이터가 단순한 선형 모델로 잘 설명되지 않는 경우에는 회귀 트리와 모델 트리가 선형 회귀보다 더 정확하고 효율적인 결과를 제공하는 경향이 있습니다.