데이터 웨어하우징(Data Warehousing)은 여러 소스에서 데이터를 수집하고 관리하여 기업에 중요한 비즈니스 인사이트를 제공하는 접근 방식입니다. 데이터 웨어하우스는 경영진의 의사결정을 지원하도록 특별히 설계됩니다.
데이터 웨어하우스란 무엇인가?
간단히 말해, 데이터 웨어하우스는 조직의 운영 데이터베이스(Operational Database)와 독립적으로 유지 관리되는 데이터베이스를 의미합니다. 데이터 웨어하우스 시스템은 여러 애플리케이션 시스템의 통합을 가능하게 하며, 분석을 위한 통합된 과거 정보의 견고한 플랫폼을 제공함으로써 데이터 처리를 지원합니다.
데이터 웨어하우스는 다차원 공간에서 데이터를 일반화하고 중앙 집중화합니다. 데이터 웨어하우스 구축 과정에는 데이터 정제(Data Cleaning), 데이터 통합(Data Integration), 데이터 변환(Data Transformation)이 포함되며, 이는 데이터 마이닝의 중요한 전처리 단계로 볼 수 있습니다.
또한 데이터 웨어하우스는 다양한 세분화 수준의 다차원 데이터를 대화형으로 분석할 수 있는 온라인 분석 처리(OLAP) 도구를 제공하여 효과적인 데이터 일반화와 데이터 마이닝을 용이하게 합니다. 연관성 분석, 분류, 예측, 군집화 등 다양한 데이터 마이닝 기능을 OLAP 작업과 통합하면 여러 추상화 수준에서 지식을 대화형으로 발굴할 수 있습니다.
OLAP와 차원 모델링
데이터 웨어하우스 시스템은 사용자 또는 지식 근로자(Knowledge Worker)에게 데이터 분석 및 의사결정 서비스를 제공합니다. 이러한 시스템은 여러 사용자의 다양한 요구 사항을 충족할 수 있도록 특정 구조로 데이터를 구성하고 제시하며, 이를 온라인 분석 처리(OLAP) 시스템이라고 부릅니다.
OLAP는 데이터 웨어하우징까지 포괄하는 광범위한 개념입니다. 이 모델에서는 데이터 마이닝과 문서 생성을 효과적으로 수행할 수 있는 형식으로 데이터가 저장됩니다. 따라서 OLAP 설계는 운영 효율성 저하를 최소화하면서 대용량 레코드셋에 대한 보고를 지원해야 합니다.
OLTP 구조의 데이터를 가져와 동일한 데이터를 OLAP 구조에 맞게 재구성하는 작업을 정의하는 용어가 바로 차원 모델링(Dimensional Modeling)이며, 이는 데이터 웨어하우징의 기본 빌딩 블록입니다.
데이터 웨어하우스의 보안 문제
데이터 웨어하우스는 다단계 보안 모델(Multilevel Security Model)을 활용하여 다양한 보안 수준에 따라 데이터를 분류하고 제한할 수 있습니다. 이를 통해 사용자는 자신에게 승인된 수준의 데이터에만 접근할 수 있습니다. 각 수준별로 요구되는 보안 유형은 다음과 같습니다.
1. 애플리케이션 개발 (Application Development)
각 프로세스 관리자마다 추가적인 보안 코드가 필요할 수 있습니다. 애플리케이션 단계에서부터 보안 로직을 설계에 반영해야 효과적인 접근 통제가 가능합니다.
2. 로드 매니저 (Load Manager)
레코드의 내용에 따라 데이터를 필터링하고 서로 다른 위치에 배치하기 위한 코드 검사가 필요합니다. 또한 민감한 필드를 수정하여 특정 데이터를 숨기기 위한 추가 변환 규칙도 요구될 수 있습니다.
3. 웨어하우스 매니저 (Warehouse Manager)
보안 정책을 강화하는 데 필요한 모든 추가 뷰(View)와 집계(Aggregation)를 생성하고 유지 관리하는 코드가 필요합니다. 저장된 데이터 자체에 대한 보호 체계를 구축하는 핵심 역할을 담당합니다.
4. 쿼리 매니저 (Query Manager)
접근 제한을 처리하기 위한 변경 사항이 필요합니다. 보안을 강화하는 데 필요한 추가 뷰, 집계, 테이블도 함께 개발해야 하며, 사용자 질의 단계에서 인가되지 않은 데이터 접근을 차단해야 합니다.
이처럼 데이터 웨어하우스의 보안은 단일 계층이 아닌 여러 구성 요소에 걸쳐 종합적으로 설계되어야 하며, 각 매니저와 개발 단계별 보안 요구 사항을 충족해야 안전한 데이터 분석 환경을 구축할 수 있습니다.