데이터 웨어하우스란 무엇인가?
데이터 웨어하우스(Data Warehouse)는 기업의 의사결정과 분석 활동을 지원하기 위해 다양한 원천에서 수집된 데이터를 통합적으로 저장하고 관리하는 시스템입니다. 효과적인 데이터 웨어하우스를 이해하려면 그를 구성하는 핵심 요소들을 알아야 합니다. 아래에서 데이터 웨어하우스의 주요 구성 요소를 하나씩 살펴보겠습니다.
1. 데이터 소스(Data Sources)
데이터 소스는 데이터 웨어하우스로 유입되는 모든 데이터의 근원지를 의미합니다. 관리 목적이나 분석 활용에 필요한 기록들이 전자적으로 저장된 저장소로 정의할 수 있습니다.
대표적인 데이터 소스는 다음과 같습니다.
- 메인프레임 데이터베이스 – IBM DB2, ISAM, Adabas, Teradata 등
- 클라이언트-서버 데이터베이스 – Oracle Database, Informix, Microsoft SQL Server, IBM DB2, Teradata 등
- PC 데이터베이스 – Microsoft Access, Alpha Five 등
- 스프레드시트 – Microsoft Excel 등
- 그 외 각종 전자 데이터 저장소
2. 데이터 웨어하우스 본체
데이터 웨어하우스는 일반적으로 관계형 데이터베이스(relational database) 형태로 구축됩니다. 단순한 질의(query)와 보고(documenting)뿐만 아니라 데이터 마이닝과 같은 고급 분석 기법까지 최적으로 지원할 수 있는 구조로 데이터가 조직화되어야 합니다.
3. 리포팅(Reporting)
아무리 잘 구축된 데이터 웨어하우스라도 조직 구성원이 그 데이터에 접근하고 활용할 수 없다면 무용지물입니다. 따라서 저장된 데이터를 사용자에게 전달하는 리포팅 기능이 필수적입니다. 리포팅은 전용 소프트웨어를 사용하거나 직접 개발(custom-developed)할 수 있으며, 대표적인 리포팅 도구는 다음과 같습니다.
비즈니스 인텔리전스(BI) 도구
데이터 웨어하우스의 정보를 바탕으로 비즈니스 문서를 손쉽게 개발하고 생산할 수 있도록 지원하는 소프트웨어입니다.
경영 정보 시스템(EIS) 및 대시보드
복잡한 비즈니스 지표와 정보를 그래픽 형태로 시각화하여 빠르게 이해할 수 있도록 돕는 애플리케이션입니다. 흔히 '대시보드(Dashboard)'라는 이름으로 널리 알려져 있습니다.
데이터 마이닝 도구
데이터 웨어하우스의 상세 데이터에 대해 정밀한 수치 계산과 통계 분석을 수행하여 추세를 발견하고 패턴을 식별하는 데 활용되는 소프트웨어입니다.
4. 메타데이터(Metadata)
메타데이터는 '데이터에 대한 데이터'로, 사용자가 필요로 하는 정보를 설명합니다. 메타데이터는 두 가지 중요한 역할을 수행합니다.
- 운영자와 사용자에게 데이터 웨어하우스의 상태와 내부에 저장된 데이터에 대한 안내를 제공합니다.
- 유입되는 정보를 통합하는 수단이자, 기본 데이터 웨어하우스 모델을 개선·고도화하는 도구로 활용됩니다.
5. 운영(Operations)
데이터 웨어하우스 운영은 데이터를 적재(load)하고, 가공(manipulate)하며, 추출(extract)하는 일련의 프로세스를 포함합니다. 또한 사용자 관리, 보안, 용량 관리(capacity management) 등 관련 기능들도 운영 영역에 속합니다.
6. 선택적 구성 요소(Optional Components)
모든 데이터 웨어하우스에 있는 것은 아니지만, 일부 환경에서는 다음과 같은 추가 구성 요소가 함께 사용됩니다.
종속 데이터 마트(Dependent Data Mart)
모든 데이터를 데이터 웨어하우스로부터 공급받는 물리적 데이터베이스입니다. 데이터 웨어하우스와 동일한 하드웨어 위에 존재할 수도 있고, 별도의 하드웨어 플랫폼에 구축될 수도 있습니다.
논리적 데이터 마트(Logical Data Mart)
메인 데이터 웨어하우스를 필터링한 뷰(view) 형태로, 물리적으로 독립된 데이터 복사본으로 존재하지 않습니다.
운영 데이터 저장소(ODS, Operational Data Store)
운영 데이터를 통합한 데이터베이스로, 레거시 시스템(legacy systems)을 데이터 소스로 포함하며 현재 또는 최근의 정보를 담고 있습니다.
마무리
데이터 웨어하우스는 데이터 소스, 저장소 본체, 리포팅, 메타데이터, 운영 체계라는 다섯 가지 핵심 요소로 이루어지며, 필요에 따라 데이터 마트나 ODS와 같은 선택적 구성 요소가 더해집니다. 각 구성 요소의 역할을 명확히 이해하면 기업 데이터 아키텍처를 설계하고 활용하는 데 큰 도움이 됩니다.