데이터 웨어하우징 과정에서 데이터 스테이징 영역은 크게 두 가지 구성 요소로 이루어집니다. 하나는 데이터 스테이징 서버 소프트웨어이고, 다른 하나는 추출(Extract), 변환(Transform), 적재(Load) 활동의 결과물을 보관하는 데이터 저장소 아카이브(리포지토리)입니다.
데이터 스테이징 서버는 OLTP 데이터 소스에서 추출한 데이터를 임시로 저장하고 변환하는 역할을 담당합니다. 아카이브 리포지토리는 정제·변환이 완료된 데이터와 속성들을 보관하여, 이후 데이터 마트나 데이터 웨어하우스로 원활하게 적재될 수 있도록 준비합니다.
데이터 스테이징 프로세스는 스트림 또는 파일 형태로 정보를 가져온 뒤 변환 작업을 거쳐 통합·정제된 데이터를 생성하고, 이를 데이터 웨어하우스, 데이터 마트, 운영 데이터 저장소(ODS)에 적재할 수 있는 상태로 스테이징합니다.
데이터 스테이징의 두 가지 처리 방식
첫 번째 방식은 데이터베이스에 직접 접근할 수 있는 데이터 스테이징 도구를 활용하는 방법입니다. 데이터 흐름은 소스 시스템에서 시작되어 변환 엔진을 거친 후 스테이징 데이터베이스로 유입됩니다.
두 번째 방식은 메인프레임 레거시 시스템에서 출발합니다. 필요한 레코드를 플랫 파일로 추출한 뒤, 해당 파일을 스테이징 서버로 전송하고 내용을 변환하여 최종적으로 변환된 정보를 스테이징 데이터베이스에 적재합니다.
데이터 웨어하우징 아키텍처에서 스테이징 영역이 필요한 이유
데이터 웨어하우스 스테이징 영역은 소스 시스템의 데이터가 일시적으로 복제되는 임시 공간입니다. 데이터 웨어하우징 아키텍처에서 스테이징 영역이 일반적으로 요구되는 가장 큰 이유는 바로 '타이밍'입니다. 요컨대, 데이터를 데이터 웨어하우스로 통합하기 전에 필요한 모든 정보가 먼저 확보되어 있어야 하기 때문입니다.
그러나 비즈니스 주기와 데이터 처리 주기는 조직마다 다르고, 하드웨어·네트워크 자원의 한계, 지리적 요인까지 더해지면 모든 운영 데이터베이스에서 정보를 정확히 같은 시점에 추출하는 것은 현실적으로 어렵습니다.
실무 예시
판매 데이터는 매일 추출하는 것이 합리적일 수 있습니다. 반면 월말 결산 절차가 필요한 재무 정보에는 일일 추출이 적합하지 않습니다. 마찬가지로 동부 표준시 정오에 싱가포르 데이터베이스에서 '고객' 데이터를 추출하는 것은 문제없을 수 있지만, 시차가 다른 시카고 데이터베이스의 '고객' 데이터에는 동일한 방식이 맞지 않을 수 있습니다.
데이터 스테이징의 특성과 선택 기준
데이터 웨어하우스의 데이터는 지속형(persistent)(장기간 유지)일 수도 있고 일시형(transitory)(일시적으로만 유지)일 수도 있습니다.
흥미로운 점은 모든 기업이 데이터 웨어하우스 스테이징 영역을 반드시 필요로 하는 것은 아니라는 사실입니다. 많은 조직의 경우 ETL 도구를 활용해 운영 데이터베이스에서 데이터 웨어하우스로 데이터를 직접 복사하는 편이 더 적합합니다. 따라서 자사의 데이터 규모, 처리 주기, 인프라 환경을 종합적으로 고려해 스테이징 영역 도입 여부를 판단하는 것이 좋습니다.
데이터 스테이징의 장점과 단점
장점
스테이징 프로세스가 변환 프로세스와 병렬로 운영·제어되므로 전체 파이프라인의 효율성이 향상됩니다.
스테이징 테이블에 대한 불필요한 반복 쓰기 작업이 없어 디스크 I/O 부담이 절반으로 감소합니다.
단점
변환 프로세스에 장애가 발생하면 스테이징 프로세스도 함께 중단될 수 있습니다. 즉, 두 프로세스 간 의존성으로 인해 장애 전파 위험이 존재합니다.