데이터 소스 선택의 중요성
데이터 웨어하우스를 구축할 때 어떤 데이터 소스를 선택하느냐는 프로젝트의 성패를 좌우하는 중요한 결정입니다. 데이터 소스를 선택할 때 고려해야 할 주요 기준은 크게 데이터 접근성, 데이터 정확성, 프로젝트 일정 세 가지로 나눌 수 있습니다.
1. 데이터 접근성(Data Accessibility)
동일한 데이터를 제공할 수 있는 후보 소스가 두 개 이상 존재한다면, 접근 용이성이 결정적인 판단 기준이 됩니다.
예를 들어, 하나는 조직에서 가장 어린 신입 팀원보다 나이가 많은 오래된 프로그램들이 관리하는 바이너리 파일에 저장된 데이터이고, 다른 하나는 해당 바이너리 문서를 읽어 들여 추가적인 처리까지 지원하는 시스템에서 제공되는 데이터라고 가정해 봅시다. 이 경우 선택은 명확합니다. 유지보수와 활용이 쉬운 후자를 선택하는 것이 합리적입니다.
2. 데이터 정확성(Data Accuracy)
데이터는 시스템에서 시스템으로 전달되는 과정에서 수많은 변경을 거치게 됩니다. 다른 시스템의 데이터 요소가 추가되기도 하고, 기존 요소를 가공하여 새로운 요소를 만들어내기도 하며, 때로는 일부 요소가 삭제되기도 합니다.
각 시스템은 자신의 역할은 잘 수행하지만, 이러한 변환 과정을 거친 데이터는 원본 데이터를 식별하기 어렵거나 불가능해질 수 있습니다. 더 심각한 문제는 데이터가 더 이상 비즈니스 분석에 필요한 형태를 반영하지 못하게 되는 경우입니다.
이렇게 여러 단계의 가공을 거친 다운스트림 시스템의 데이터를 제공하면, 사용자들은 데이터의 정확성에 의문을 제기할 가능성이 높습니다. 따라서 원본에 가까운, 변형이 적은 소스를 우선적으로 검토해야 합니다.
3. 프로젝트 일정(Project Scheduling)
많은 조직에서 데이터 웨어하우스 프로젝트는 기존 OLTP(온라인 트랜잭션 처리) 시스템 재구축 작업의 일부로 시작됩니다. 새로운 시스템 개발 프로젝트가 진행되면서, 데이터 웨어하우스의 가치를 확실히 인식하게 된 비즈니스 사용자들이 데이터 웨어하우스를 하루빨리 구축해 달라고 요구하는 상황이 자주 발생합니다.
과거 이력 데이터를 제공하려면 기존 시스템의 데이터를 데이터 웨어하우스에 포함시켜야 합니다. 다행히 구시스템의 재구축이 지연되더라도, 데이터 웨어하우스는 현행 시스템을 계속 활용할 수 있습니다. 그리고 새 시스템이 운영 환경에 배포되면 데이터 피드만 새 시스템으로 전환하면 됩니다.
실제로 많은 경우, 새로운 운영 시스템이 완성되기 전에도 데이터 웨어하우스를 먼저 구축하여 서비스할 수 있습니다.
차원 데이터 통합 시 고려사항
트랜잭션이나 팩트(fact) 데이터에는 대개 차원 정보가 일부 포함되어 있지만, 그 양은 매우 적고 대부분 코드 형태에 불과합니다. 사용자가 필요로 하는 추가 속성 정보는 여러 시스템이나 통합 마스터 파일에서 가져와야 합니다.
특히 고객(customer) 차원의 경우 여러 개의 마스터 파일이 존재하는 경우가 흔합니다. 영업, 마케팅, 재무 부서가 각각 자체적인 고객 마스터 파일을 운영하는 것이 대표적인 예입니다.
여기서 두 가지 까다로운 문제가 발생합니다. 첫째, 각 파일에 포함된 고객 목록 자체가 서로 다를 수 있고, 고객별로 관리되는 속성 정보도 제각각일 수 있다는 점입니다. 둘째, 공통으로 존재하는 정보조차 값이 일치하지 않을 수 있다는 점입니다.
시간과 비용이 무제한으로 주어진다면 모든 소스에서 풍부한 데이터를 추출하여 이를 통합한 고객 종합 뷰(single comprehensive view of customers)를 만들 수 있겠지만, 현실적으로는 그럴 여유가 없는 경우가 대부분입니다.
현실적인 접근 방법
모든 것을 한 번에 해결하려 하기보다는, 사용자와 함께 정보의 우선순위를 정하고, 당장 가능한 것부터 시작하여 점진적으로 확장해 나가는 것이 바람직한 전략입니다. 이러한 단계적 접근은 초기 투자 부담을 줄이고, 빠른 성과를 통해 이해관계자들의 신뢰를 얻는 데에도 도움이 됩니다.