데이터 조정(Data Reconciliation)의 개념
데이터 조정은 데이터 마이그레이션 과정에서 기록을 검증하는 단계입니다. 이 단계에서는 대상(Target) 데이터를 원본(Source) 데이터와 비교하여, 마이그레이션 구조가 데이터를 올바르게 할당하고 있는지 확인합니다. 데이터 검증 및 조정은 수치 모델이 데이터를 효과적으로 처리할 수 있도록 지원하는 기술로 정의됩니다.
비즈니스 인텔리전스에서 데이터 일관성의 중요성
비즈니스 인텔리전스(BI)에서 정보 품질을 보장하는 데 필수적인 요소 중 하나는 바로 데이터의 일관성입니다. 데이터 웨어하우스와 마찬가지로 비즈니스 인텔리전스는 데이터를 결합하고 변환하여 저장함으로써, 분석과 해석에 활용할 수 있는 형태로 만듭니다.
여러 프로세스 단계 사이에서 데이터의 일관성이 반드시 유지되어야 하며, DataSource에 대한 데이터 조정은 BI에 적재된 정보의 일관성을 보장하고, 해당 환경에서 데이터에 효과적으로 접근하고 활용할 수 있도록 돕습니다.
여기서 운영(프로덕티브) DataSource란 비즈니스 인텔리전스의 운영 서비스에서 데이터 공유에 사용되는 DataSource를 의미합니다. 반면 데이터 조정 DataSource는 소스 시스템의 소프트웨어 데이터를 정확하게 참조할 수 있게 하여, 원본 데이터와의 비교를 가능하게 하는 DataSource를 가리킵니다.
주요 구성 요소
1. 데이터 모델(Data Model)
데이터 모델은 3.x 객체(전송 규칙이 포함된 데이터 흐름)를 기반으로 구성됩니다. 운영 DataSource는 BI에 승인·적재할 데이터를 생성하기 위해 데이터 전송이 필요합니다. 변환(Transformation)은 직접 할당 방식을 통해 DataSource 영역을, 데이터 조정을 위해 생성된 DataStore 객체의 InfoObject와 연결합니다.
데이터 조정 DataSource는 VirtualProvider를 통해 소프트웨어 데이터에 직접 접근할 수 있게 해줍니다. MultiProvider에서는 DataStore 객체의 데이터가 직접 조회된 데이터와 연결되며, MultiProvider를 기반으로 작성된 쿼리에서는 적재된 정보를 소스 시스템의 소프트웨어 데이터와 비교할 수 있습니다.
2. 모델링 관점(Modelling Aspects)
DataSource에 대한 데이터 조정을 통해 적재된 정보의 순수성, 즉 정확성을 테스트할 수 있습니다. 이는 DataStore 객체에 저장된 핵심 지표(Key Figure)의 합계와, VirtualProvider가 소스 시스템에서 직접 조회한 동일한 총계 값을 비교하는 방식으로 수행됩니다.
또한 추출기(Extractor) 또는 추출기 오류 분석을 활용하면 데이터 처리 과정에서 발생할 수 있는 잠재적인 오류를 식별할 수 있습니다. 이 기능은 데이터 조정 DataSource가 운영 DataSource에 대해 다중 추출 모듈을 사용하는 경우에 활용할 수 있습니다.
마지막으로, 데이터 조정 DataSource는 소스 시스템에서 직접 데이터를 생성하기 때문에 전송되는 데이터 볼륨을 최소한으로 유지하는 데 유용합니다. 이는 BI 콘텐츠로 생성된 데이터 조정 DataSource 또는 함수 모듈(Function Module)을 사용하는 제네릭 DataSource를 통해 구현하는 것이 가장 효과적이며, 이를 통해 집계(Aggregation) 로직을 손쉽게 수행할 수 있습니다.