회귀(Regression)는 연속형 값을 가진 속성을 예측하는 데 활용되는 지도 학습(Supervised Learning) 기법 중 하나입니다. 회귀 분석을 통해 기업은 목표 변수(target variable)와 예측 변수(predictor variable) 간의 관계를 파악할 수 있으며, 재무 예측이나 시계열 모델링에 필수적인 데이터 탐색 도구로 널리 사용됩니다.
회귀 분석에는 여러 가지 유형이 있으며, 대표적인 종류는 다음과 같습니다.
1. 선형 회귀 (Linear Regression)
선형 회귀는 두 개의 속성(또는 변수)에 가장 잘 맞는 '최적' 직선을 찾아, 하나의 속성으로 다른 속성을 예측하는 방법입니다. 두 개 이상의 변수가 포함되어 데이터를 다차원 공간에 적합시키는 경우에는 다중 선형 회귀(Multiple Linear Regression)라고 부릅니다.
기본적인 회귀 방정식은 다음과 같습니다.
Y = a + b*X + e
- a: 절편(intercept)
- b: 회귀선의 기울기(slope)
- e: 오차(error)
X와 Y는 각각 예측 변수와 목표 변수를 나타내며, X가 두 개 이상의 변수로 구성된 경우 이를 다중 선형 회귀식이라고 합니다.
선형 회귀에서 최적 적합선은 최소제곱법(Least Squares Method)을 통해 구합니다. 이 방법은 각 데이터 포인트에서 회귀선까지의 편차 제곱의 합을 최소화하는 방식으로, 편차를 제곱하기 때문에 양수 편차와 음수 편차가 서로 상쇄되지 않는다는 장점이 있습니다.
2. 다항 회귀 (Polynomial Regression)
회귀 방정식에서 독립변수의 차수가 1보다 클 때 이를 다항 회귀라고 합니다. 예를 들어 다음과 같은 식이 해당됩니다.
Y = a + b * x²
다항 회귀에서 최적 적합선은 선형 회귀처럼 직선이 아니라, 데이터 포인트들에 맞춰진 곡선 형태로 표현됩니다.
3. 로지스틱 회귀 (Logistic Regression)
종속변수가 0과 1, 참과 거짓, 성공과 실패처럼 이진(binary) 형태일 때 로지스틱 회귀가 사용됩니다. 목표값(Y)은 0부터 1 사이의 범위를 가지며, 주로 분류(classification) 문제에 활용됩니다.
선형 회귀와 달리, 로지스틱 회귀는 독립변수와 종속변수 간의 선형 관계를 요구하지 않는다는 특징이 있습니다.
4. 릿지 회귀 (Ridge Regression)
릿지 회귀는 다중공선성(multicollinearity) 문제가 있는 회귀 데이터를 처리하기 위해 사용되는 기법입니다. 다중공선성이란 두 개 이상의 독립변수 간에 선형 상관관계가 존재하는 현상을 의미하며, 일반적인 회귀 분석의 정확도를 떨어뜨릴 수 있습니다.
5. 라쏘 회귀 (Lasso Regression)
LASSO는 Least Absolute Shrinkage and Selection Operator의 약자로, 축소(shrinkage) 기법을 활용하는 선형 회귀 방법입니다. 라쏘 회귀에서는 데이터 포인트들이 평균(mean)이라고도 불리는 중심점 쪽으로 축소됩니다.
라쏘 기법은 매개변수가 많은 단순하고 희소(sparse)한 모델에 특히 적합하며, 다중공선성 문제를 겪는 모델에도 효과적으로 활용할 수 있습니다.