데이터 웨어하우스란 무엇인가?
데이터 웨어하우징(Data Warehousing)은 여러 소스에서 정보를 수집하고 관리하여 기업에 중요한 비즈니스 인사이트를 제공하는 접근 방식입니다. 데이터 웨어하우스는 경영진의 의사결정을 지원한다는 목적을 위해 특별히 구축됩니다.
데이터 웨어하우스는 기업의 운영(OLTP) 데이터베이스와는 별도로 유지·관리되는 데이터베이스로 정의할 수 있습니다. 데이터 웨어하우스 시스템은 여러 애플리케이션 시스템 간의 데이터 통합을 가능하게 하며, 통합된 과거 이력 데이터를 기반으로 한 안정적인 분석 플랫폼을 통해 데이터 처리를 지원합니다.
데이터 웨어하우스의 동작 방식
데이터 웨어하우스는 원격 기본 데이터 소스 위에 정의된 일련의 구체화 뷰(materialized views)의 집합으로 볼 수 있습니다. 분석 질의(query)가 발생하면 원본 데이터 소스에 직접 접근하지 않고, 구체화 뷰를 활용해 로컬에서 빠르게 계산됩니다.
데이터 웨어하우스는 시간이 지남에 따라 지속적으로 변화하는 능동적(active) 개체입니다. 시간이 흐름에 따라 새로운 질의에 대한 답변이 요구되며, 대부분의 질의는 구체화 뷰만으로 처리할 수 있지만, 필요에 따라 새로운 뷰를 데이터 웨어하우스에 추가해야 하는 경우도 발생합니다.
데이터 웨어하우스 시스템의 구성 요소
데이터 웨어하우스 시스템은 크게 세 가지 요소로 구성됩니다.
첫째, 데이터베이스입니다. 여기에는 원본 소스 데이터베이스와 데이터 웨어하우스 내부의 구체화 뷰가 포함됩니다.
둘째, 한 데이터베이스에서 다른 데이터베이스로 레코드를 전송하는 데이터 전송 에이전트(data transport agents)입니다.
셋째, 시스템 자체와 그 확장에 관한 메타데이터를 저장하는 리포지토리(repository)입니다.
공간 데이터 웨어하우스의 주요 과제
공간(spatial) 데이터 웨어하우스의 구축과 활용에는 몇 가지 어려운 문제가 존재합니다.
1. 이질적인 소스 간 공간 데이터의 통합
첫 번째 과제는 서로 다른 소스와 시스템에서 산출되는 공간 정보의 통합입니다. 공간 데이터는 일반적으로 여러 민간 기업과 정부 기관에 걸쳐 다양한 데이터 형식으로 저장되기 때문에, 이를 하나로 통합하는 작업이 쉽지 않습니다.
2. 빠르고 유연한 온라인 분석 처리(OLAP)
두 번째 과제는 공간 데이터 웨어하우스에서 신속하고 유연한 온라인 분석 처리(OLAP)를 실현하는 것입니다. 스타 스키마(star schema) 모델은 간결하고 체계적인 웨어하우스 구조를 지원하고 OLAP 서비스와 잘 연동되기 때문에 공간 데이터 웨어하우스 모델링에 가장 적합한 선택으로 평가받습니다. 다만 공간 웨어하우스에서는 차원(dimension)과 측정값(measure) 모두에 공간 요소가 포함될 수 있다는 점을 유의해야 합니다.
데이터 웨어하우스 설계의 4가지 관점
데이터 웨어하우스를 설계할 때는 네 가지 서로 다른 관점을 반드시 고려해야 합니다. 바로 상향식 관점(top-down view), 데이터 소스 관점(data source view), 데이터 웨어하우스 관점(data warehouse view), 비즈니스 쿼리 관점(business query view)입니다.
① 상향식 관점(Top-down View)
상향식 관점은 데이터 웨어하우스에 필요한 관련 정보를 선별할 수 있게 해줍니다. 이 관점에서 선정된 데이터는 현재의 비즈니스 요구사항과 미래의 요구사항을 함께 연결합니다.
② 데이터 소스 관점(Data Source View)
데이터 소스 관점은 운영 시스템이 수집, 저장, 처리하는 데이터를 보여줍니다. 이 데이터는 단일 데이터 소스 테이블부터 통합된 데이터 소스 테이블까지 다양한 수준의 세부 사항과 정확도로 문서화될 수 있습니다.
데이터 소스는 일반적으로 개체-관계(ER) 모델과 같은 전통적인 데이터 모델링 기법이나 CASE(컴퓨터 지원 소프트웨어 엔지니어링) 도구를 통해 모델링됩니다.
③ 데이터 웨어하우스 관점(Data Warehouse View)
데이터 웨어하우스 관점은 팩트 테이블(fact tables)과 차원 테이블(dimension tables)을 포함합니다. 이 관점은 데이터 웨어하우스 내에 저장되는 데이터를 정의하며, 사전 계산된 합계와 집계 값, 그리고 출처·날짜·시간 등 원본 정보를 함께 기록하여 과거 이력에 대한 맥락을 지원합니다.
④ 비즈니스 쿼리 관점(Business Query View)
마지막으로 비즈니스 쿼리 관점은 최종 사용자(end user)의 입장에서 바라본 데이터 웨어하우스 내 데이터의 모습입니다. 사용자가 실제로 어떤 방식으로 데이터를 조회하고 활용하는지를 반영하는 관점이라 할 수 있습니다.