데이터 웨어하우징(Data Warehousing)은 다양한 소스에서 데이터를 수집하고 관리하여 기업에 의미 있는 비즈니스 인사이트를 제공하는 기술입니다. 데이터 웨어하우스는 경영진의 의사결정을 지원하도록 특별히 설계된 시스템입니다.
쉽게 말해, 데이터 웨어하우스란 조직의 운영(OLTP) 데이터베이스와는 별도로 유지·관리되는 데이터베이스를 의미합니다. 데이터 웨어하우스 시스템은 여러 애플리케이션 시스템을 통합할 수 있게 해주며, 통합된 과거 정보를 기반으로 한 안정적인 분석 플랫폼을 통해 데이터 처리를 지원합니다.
데이터 웨어하우스는 정보를 다차원적 관점에서 일반화하고 통합합니다. 데이터 웨어하우스 구축 과정에는 데이터 정제(Data Cleaning), 데이터 통합(Data Integration), 데이터 변환(Data Transformation)이 포함되며, 이는 데이터 마이닝을 위한 필수 전처리 단계로 볼 수 있습니다.
데이터 웨어하우스 도구와 유틸리티의 주요 기능
1. 데이터 추출 (Extraction)
여러 운영 데이터 소스로부터 분석에 필요한 데이터를 수집하는 단계입니다. 이후 모든 데이터는 웨어하우스로 이동하기 전에 정제와 변환 과정을 거치게 됩니다.
2. 데이터 정제 (Data Cleaning)
데이터 정제는 결측값을 채우고, 잡음이 있는 데이터를 평활화하며, 이상치(Outlier)를 식별·제거하고, 데이터 내 불일치를 해소하는 작업을 의미합니다.
데이터 정제의 유형
- 결측값(Missing Values) 처리 — 누락된 값은 적절한 값으로 채워 넣습니다. 평균 대체, 회귀 기반 추정 등 다양한 방법을 활용해 값을 보완합니다.
- 잡음 데이터(Noisy Data) 처리 — 잡음이란 측정된 변수에 포함된 무작위 오류 또는 분산을 뜻합니다. 잡음을 제거하기 위한 대표적인 평활화(Smoothing) 기법은 다음과 같습니다.
- 구간화(Binning) — 정렬된 데이터 값을 '이웃값(neighborhood)', 즉 해당 값 주변의 값들을 참조하여 평활화하는 기법입니다. 정렬된 값들을 여러 개의 버킷(bin)으로 나눈 뒤, 각 구간의 평균이나 중앙값 등으로 치환합니다. 이웃값을 참조하기 때문에 국소적(local) 평활화가 수행됩니다.
- 회귀(Regression) — 데이터를 함수에 맞춰 피팅(fitting)함으로써 평활화할 수 있습니다. 선형 회귀는 두 속성(변수) 사이에 가장 잘 맞는 '최적' 직선을 찾아 하나의 속성으로 다른 속성을 예측하는 방식입니다. 다중 선형 회귀는 이를 확장한 것으로, 두 개 이상의 속성을 포함하여 데이터를 다차원 표면에 피팅합니다.
- 군집화(Clustering) — 군집화는 이상치를 식별하는 데 유용합니다. 유사한 값들을 클러스터로 묶고, 클러스터 밖에 위치한 값들을 이상치로 판단합니다.
3. 데이터 변환 (Data Transformation)
데이터 변환은 데이터를 마이닝에 적합한 형태로 변환하거나 통합하는 과정입니다. 주요 변환 기법은 다음과 같습니다.
- 평활화(Smoothing) — 데이터에서 잡음을 제거하는 작업입니다. 구간화(Binning), 회귀(Regression), 군집화(Clustering) 등의 기법이 사용됩니다.
- 집계(Aggregation) — 요약(Summary) 또는 집계 연산을 데이터에 적용하는 과정입니다. 예를 들어 일별 매출 데이터를 월별·연도별 매출로 요약하는 것이 이에 해당합니다.
- 일반화(Generalization) — 낮은 수준의 원시(raw) 데이터를 개념 계층(concept hierarchy)을 활용해 상위 수준의 개념으로 대체하는 과정입니다. 예를 들어 '나이' 속성을 '청년', '중년', '노년'과 같은 상위 범주로 변환할 수 있습니다.
4. 적재 (Load)
정제 및 변환된 데이터를 웨어하우스에 저장하는 단계입니다. 이 과정에서 데이터 정렬, 요약, 통합이 수행되며, 뷰(view) 생성, 무결성 검사, 인덱스 및 파티션 구축 작업도 함께 진행됩니다.
5. 갱신 (Refresh)
원본 데이터 소스에서 발생한 변경 사항(업데이트)을 데이터 웨어하우스로 전파하여 최신 상태를 유지하는 작업입니다. 갱신 주기는 실시간, 일 단위, 주 단위 등 조직의 요구사항에 따라 설정됩니다.