메타데이터 허브란?
메타데이터 허브(Metadata Hub)는 의사결정 처리 제품들 사이에서 기술 메타데이터를 교환하고 배포하는 역할을 수행하는 중앙 집중식 플랫폼입니다. 주로 데이터 웨어하우스를 구축하고 유지·보수하는 과정에서 기술 담당자들이 사용하도록 설계되었으며, 안정적인 운영을 위해 반드시 충족해야 할 핵심 요구 사항들이 있습니다.
메타데이터 허브의 핵심 요구 사항
1. 시스템 간 메타데이터 교환 지원
메타데이터 허브는 공유 메타데이터 환경 안에서 여러 시스템과 제품 간의 메타데이터 교환을 지원해야 합니다. 이를 위해 허브는 서드파티(제3자) 도구가 허브의 서비스를 제어할 수 있도록 개방형 프로그래밍 객체 인터페이스(예: COM 또는 CORBA)를 갖추어야 합니다.
또한 메타데이터 교환을 위해 업계에서 표준으로 인정받는 파일 형식(CSV(쉼표 구분 파일), Meta Data Coalition MDIS, Microsoft XML Interchange Format 등)을 지원하는 파일 전송 구조도 함께 제공해야 합니다.
2. 메타데이터 저장소 및 관리 기능 제공
메타데이터 허브는 메타데이터를 관리하고 공유하기 위한 영구 저장소를 제공해야 합니다. 저장소에 보관된 메타데이터는 앞서 언급한 객체 API와 파일 전송 방식을 통해 관리할 수 있어야 하며, 제공되는 GUI 및 웹 기반 사용자 인터페이스를 통해서도 손쉽게 유지·관리할 수 있어야 합니다.
아울러 대화형 및 배치(batch) 방식의 메타데이터 영향 분석과 문서화 기능도 필요합니다. 허브는 사용자가 지정한 주기마다 로컬 제품과 시스템을 자동으로 스캔하여 새로 생성되거나 수정된 메타데이터를 감지하고, 이를 메타데이터 저장소에 추가할 수 있는 에이전트 인터페이스를 제공해야 합니다.
저장소의 메타데이터를 관리하는 메타데이터 관리자는 변경 이력을 남길 수 있는 버전 관리 및 라이브러리 관리 기능을 지원하여 팀 단위 협업 개발을 뒷받침해야 합니다. 나아가 대규모 분산 환경에서는 관리자가 여러 허브 서버와 메타데이터 저장소에 걸쳐 메타데이터 환경을 물리적으로 분할(partitioning)할 수 있어야 합니다.
3. 데이터 웨어하우스 메타데이터 관리
메타데이터 허브는 최소한 데이터 웨어하우스 정보 저장소의 정의를 관리할 수 있어야 합니다. 지원해야 할 형식에는 관계형 테이블과 컬럼, 그리고 다차원 분석에 사용되는 측정값(measure)과 차원(dimension)이 포함됩니다.
그 외에 관리 대상이 되는 또 다른 유형의 메타데이터로는, 데이터 웨어하우스 레코드를 생성하는 데 사용된 데이터 소스에 대한 정보와 해당 소스 데이터가 웨어하우스에 적재되기 전에 거친 변환(transformation) 과정에 대한 정보가 있습니다.
다만 현재의 ETL 도구들은 대부분 자체적인 변환 방식을 사용하기 때문에, 이런 유형의 메타데이터를 위한 범용 관리 기능을 만드는 일은 쉽지 않습니다. 따라서 제품은 최소한 데이터 소스 및 변환 메타데이터를 자유 형식 텍스트로 문서화할 수 있는 기능이라도 제공해야 합니다.
가장 이상적인 형태라면, 허브가 공통 비즈니스 모델과 관련된 비즈니스 메타데이터는 물론, 비즈니스 인텔리전스(BI) 도구와 분석 소프트웨어가 웨어하우스 데이터에 접근할 때 활용하는 비즈니스 뷰에 대한 상세 정보까지 문서화할 수 있어야 합니다.