데이터 웨어하우스의 품질을 관리하기 위해서는 다양한 도구와 체계적인 접근 방식이 필요합니다. 이 글에서는 데이터 웨어하우스 품질 관리의 핵심 개념인 품질 정의, 데이터 품질 연구 동향, 그리고 실무에서 반드시 고려해야 할 주요 데이터 품질 요소들을 살펴봅니다.
품질 정의(Quality Definition)
품질이란 기대치(Expectance) 대비 성능의 비율로 정의하고 정량화할 수 있습니다. 즉, 제품이 인도된 시점부터 사회에 전달되는 손실(loss)의 크기로 품질을 규정하는 것입니다. 여기서 사회 전체의 손실은 생산자의 손실과 사용자의 손실을 합한 것으로 간주할 수 있습니다.
일반적으로 제품이나 서비스의 품질과 생산 비용 사이에는 상충 관계(trade-off)가 존재한다는 것이 잘 알려져 있습니다. 따라서 조직은 이 두 매개변수 사이에서 적절한 균형점을 찾아야 하며, 만약 이 균형이 무너진다면 조직은 결국 실패하게 됩니다.
데이터 품질 연구(Data Quality Research)
데이터 품질 분야에서는 지금까지 수많은 연구가 수행되어 왔습니다. 연구자와 실무자 모두 정보의 품질을 개선함으로써 의사결정 지원 시스템의 품질을 향상시키는 문제에 직면해 있으며, 이러한 기존 연구들은 데이터 웨어하우스 품질에 대한 우리의 접근 방식에 크고 작은 영향을 미쳤습니다.
ISO 9000 표준에서 차용한 프레임워크는 경영 책임, 서비스 및 보증 비용, 연구 개발, 생산, 유통, 인사 관리, 법률 서비스 등 일곱 가지 요소를 포함합니다. 이 프레임워크는 데이터 품질 관련 문헌의 중요한 부분을 검토하지만, 그중에서도 연구 개발(R&D) 형태의 데이터 품질만이 데이터 웨어하우스 품질 설계의 목적과 부합하는 것으로 나타났습니다.
이 분야에는 세 가지 핵심 과제가 있습니다.
- 데이터 제품(data product)의 데이터 품질 방법론에 대한 분석 및 설계
- 데이터 품질 방법론을 통합하는 데이터 제조 시스템(DMS, Data Manufacturing System)의 설계
- 데이터 품질 측정 기준(measure)의 정의
데이터 품질 시스템의 구성 요소
데이터 품질 시스템(Data Quality System)은 데이터 품질 관리를 달성하기 위한 조직 구조, 책임, 프로세스, 자원 전반을 아우르는 개념입니다.
데이터 품질 관리(Data Quality Control)는 데이터 제품에 요구되는 품질을 확보하기 위해 사용되는 운영 기술 및 활동의 집합을 의미합니다.
데이터 품질 보증(Data Quality Assurance)은 데이터 제품이 주어진 품질 사양을 충족할 것이라는 충분한 신뢰를 확보하는 데 필요한 모든 계획적이고 체계적인 활동을 포괄합니다.
주요 데이터 품질 요소(Data Quality)
웨어하우스에 저장된 데이터의 품질은 그 자체로 하나의 프로세스가 아니라, 웨어하우스 환경에서 일어나는 모든 프로세스의 영향을 받습니다. 데이터 품질을 평가할 때 고려해야 할 주요 요소는 다음과 같습니다.
- 완전성(Completeness): 관심 있는 실제 세계의 데이터가 소스와 웨어하우스에 얼마나 반영되었는지를 백분율로 나타내는 요소입니다.
- 신뢰성(Credibility): 해당 데이터를 제공한 소스의 신뢰도를 정의하는 요소입니다.
- 정확성(Accuracy): 소스에서 발생한 데이터 입력 절차의 정확성을 정의하는 요소입니다.
- 일관성(Consistency): 논리적 규칙과 제약 조건에 대한 데이터의 논리적 정합성을 정의하는 요소입니다.
- 데이터 해석 가능성(Data Interpretability): 데이터 정의와 관련된 요소로, 레거시 시스템 및 외부 레코드를 위한 데이터 설계, 관계형 데이터베이스의 테이블 정의, 기본 키와 외래 키, 별칭(alias), 기본값(default), 도메인(domain), 코드화된 값의 설명 등이 포함됩니다.
이러한 품질 요소들을 체계적으로 관리하면 데이터 웨어하우스의 신뢰도를 높이고, 궁극적으로 더 나은 의사결정을 지원할 수 있습니다.