데이터 웨어하우스의 데이터 스테이징 프로세스
데이터 스테이징(Data Staging)은 원천 데이터를 데이터 웨어하우스에 저장하기 전까지 거치는 핵심 과정으로, 크게 추출 → 변환 → 적재·인덱싱 → 품질 보증 → 배포 → 쿼리의 하위 프로세스들로 구성됩니다.
1. 추출(Extracting)
추출 단계는 데이터를 데이터 웨어하우스 환경으로 가져오는 첫 번째 단계입니다. 원천(Source) 데이터를 읽고 분석한 뒤, 이후 작업에 필요한 요소들을 데이터 스테이징 영역으로 복사하는 작업을 의미합니다.
2. 변환(Transforming)
데이터가 데이터 스테이징 영역으로 추출되면, 목적에 맞게 다양한 변환 작업이 수행됩니다. 주요 변환 작업은 다음과 같습니다.
데이터 정제(Cleansing): 오타 수정, 도메인 충돌 해결(예: 우편번호와 일치하지 않는 도시 이름), 누락된 데이터 처리, 표준 형식 지정 등을 통해 데이터 품질을 확보합니다.
불필요한 필드 제거(Purging): 데이터 웨어하우스 분석에 유용하지 않은 레거시 레코드의 특정 필드를 제거합니다.
데이터 통합(Joining): 키 값을 기준으로 정확히 매칭하거나, 레거시 시스템 코드의 텍스트 조회처럼 비키(non-key) 속성에 대한 퍼지(Fuzzy) 매칭을 활용해 여러 데이터 소스를 결합합니다.
대체 키(Surrogate Key) 생성: 레거시 시스템이 정의한 키에 대한 의존성을 피하기 위해 각 차원(Dimension) 데이터에 새로운 대체 키를 부여합니다. 이 과정은 차원 테이블과 팩트(Fact) 테이블 간의 참조 무결성을 유지하는 역할도 합니다.
집계(Aggregate) 구성: 빈번하게 실행되는 공통 쿼리의 성능을 높이기 위해 사전 집계 데이터를 생성합니다.
3. 적재 및 인덱싱(Loading and Indexing)
변환 단계가 완료되면 데이터는 적재 가능한 형태로 준비됩니다. 데이터 웨어하우스 환경에서의 적재는 일반적으로 차원 테이블과 팩트 테이블을 구성하고, 이 테이블들을 각 수신 데이터 마트(Data Mart)의 적재 시설에 제공하는 방식으로 진행됩니다.
4. 품질 보증 검사(Quality Assurance Checking)
각 데이터 마트가 적재·인덱싱되고 적절한 집계 데이터가 제공된 후, 데이터를 공개하기 전 마지막 단계는 품질 보증입니다. 품질 보증은 새로 적재된 전체 데이터 세트에 대해 포괄적인 예외 리포트(Exception Report)를 실행함으로써 검증할 수 있습니다.
검증 시에는 모든 보고 항목이 존재해야 하며, 모든 건수와 합계가 적절해야 합니다. 또한 모든 보고 값은 이전 시점의 동일 값들과 시간 순서상 일관성을 유지해야 합니다. 예외 리포트는 데이터 마트의 최종 사용자 리포트 작성 도구를 활용해 생성할 수 있습니다.
5. 배포/게시(Release/Publishing)
각 데이터 마트의 적재와 품질 보증이 완료되면, 사용자 커뮤니티에 새로운 데이터가 사용 준비되었음을 알려야 합니다. 게시 단계에서는 기본 차원에서 발생한 변경 사항과, 측정 또는 계산된 팩트에 새롭게 도입된 가정들에 대한 내용도 함께 안내합니다.
6. 쿼리(Querying)
쿼리는 데이터 마트에서 정보를 요청하는 모든 활동을 아우르는 광범위한 개념입니다. 여기에는 최종 사용자의 애드혹(Ad-hoc) 쿼리, 리포트 작성, 복잡한 의사결정 지원 애플리케이션, 모델로부터의 요청, 그리고 고도화된 데이터 마이닝까지 포함됩니다.