데이터 웨어하우스 시스템은 여러 핵심 요소들이 유기적으로 결합되어 동작합니다. 각 구성 요소의 역할과 특징을 하나씩 살펴보겠습니다.
1. 소스 시스템(Source System)
소스 시스템은 비즈니스 트랜잭션을 수집하는 것을 주된 임무로 하는 운영(operational) 데이터 시스템입니다. 메인프레임 환경에서는 소스 시스템을 흔히 '레거시 시스템(legacy system)'이라고 부릅니다.
소스 시스템의 핵심 특징은 가동 시간(uptime)과 가용성(availability)입니다. 소스 시스템에 실행되는 쿼리는 일반 트랜잭션 흐름의 일부인 명확한 '계정 기반(account-based)' 쿼리로, 레거시 시스템에 가하는 부하가 엄격하게 제한됩니다.
2. 데이터 스테이징 영역(Data Staging Area)
데이터 스테이징 영역은 원천 데이터를 정제하고, 변환하고, 통합하며, 중복 제거(de-duplication), 하우스홀딩(householding), 아카이브 처리 등을 거쳐 데이터 웨어하우스에서 사용할 수 있도록 준비하는 저장 공간이자 일련의 프로세스 그룹입니다.
이 영역은 정렬(sorting)과 순차 처리 같은 단순 반복 작업이 중심을 이루며, 반드시 관계형(relational) 기술에 기반할 필요는 없습니다. 정의된 모든 일대일 및 다대일 비즈니스 규칙에 대한 데이터 적합성 검증까지 완료되었다면, 완전한 엔티티-관계(entity-relation) 기반 물리적 데이터베이스 설계를 구축하는 마지막 단계는 불필요할 수 있습니다.
3. 비즈니스 프로세스(Business Process)
비즈니스 프로세스란 데이터 웨어하우스의 비즈니스 사용자에게 의미 있는 일관된 비즈니스 활동의 집합을 말합니다. 일반적으로 '주문 처리(order processing)'나 '고객 파이프라인 관리(user pipeline management)'와 같은 활동 그룹을 의미하지만, 비즈니스 프로세스는 서로 겹칠 수 있으며 하나의 비즈니스 프로세스에 대한 정의 역시 시간이 지남에 따라 발전하게 됩니다.
4. 리포팅(Reporting)
데이터 웨어하우스가 실질적인 가치를 발휘하려면 저장된 데이터가 조직 구성원들에게 실제로 활용될 수 있어야 합니다. 이 기능을 수행하는 다양한 소프트웨어 애플리케이션이 존재하며, 필요에 따라 리포팅 체계를 자체 개발하는 방법도 있습니다.
대표적인 리포팅 도구는 다음과 같습니다.
비즈니스 인텔리전스(BI) 도구
데이터 웨어하우스의 데이터를 기반으로 비즈니스 문서의 작성과 관리 프로세스를 분석하는 소프트웨어 애플리케이션입니다.
경영 정보 시스템(EIS) · 대시보드(Dashboard)
복잡한 비즈니스 지표와 데이터를 그래픽 형태로 시각화하여 신속한 이해를 돕는 소프트웨어 애플리케이션입니다. 최근에는 '대시보드'라는 명칭으로 더 널리 알려져 있습니다.
데이터 마이닝(Data Mining)
데이터 마이닝 도구는 상세한 데이터 웨어하우스 데이터를 대상으로 정교한 수치 및 통계 연산을 수행하여 추세를 파악하고, 패턴을 식별하며, 데이터를 해석할 수 있도록 지원하는 소프트웨어입니다.
5. 메타데이터(Metadata)
메타데이터는 '데이터에 관한 데이터'로, 사용자에게 반드시 필요한 정보입니다. 메타데이터는 데이터 웨어하우스의 상태와 내부에 보유한 데이터를 운영자와 사용자에게 안내하는 역할뿐만 아니라, 유입되는 데이터를 통합하고 근본적인 데이터 웨어하우스 모델을 개선·명확화하는 도구로도 활용됩니다.
6. 운영(Operations)
데이터 웨어하우스 운영에는 데이터를 로드(load), 조작(manipulate), 추출(extract)하는 프로세스가 포함됩니다. 아울러 사용자 관리, 보안, 용량 관리(capacity management) 등 관련 서비스 역시 운영 영역에서 함께 다뤄집니다.