데이터 통합(Data Integration)이란?
데이터 통합은 서로 다른 여러 출처에 흩어져 있는 데이터를 하나로 병합하는 과정입니다. 통합 작업을 수행할 때는 데이터 중복, 불일치, 이중 기록 등의 문제를 반드시 처리해야 합니다. 데이터 마이닝 관점에서 데이터 통합은 전처리(preprocessing) 단계에 해당하며, 서로 다른 유형의 데이터 소스들을 하나의 일관된 데이터로 결합함으로써 데이터를 저장하고 통합된 관점(unified view)을 제공하는 역할을 합니다.
의료 분야에서 데이터 통합이 중요한 이유
데이터 통합은 특히 의료 산업에서 그 가치가 두드러집니다. 여러 환자 기록과 병원의 데이터를 통합하면, 의료진은 흩어져 있던 정보를 하나의 유용한 정보 뷰로 모아 질병이나 의학적 문제를 더 정확하게 파악할 수 있습니다.
또한 효율적인 데이터 수집과 통합은 의료 보험 청구 처리의 정확도를 높이고, 환자의 이름과 연락처 정보가 일관되고 정확하게 기록되도록 보장합니다. 이처럼 서로 다른 시스템 간에 정보를 공유하는 능력을 상호운용성(interoperability)이라고 부릅니다.
데이터 큐브 집계의 기본 개념
데이터가 원하는 형태와 다르게 저장되어 있을 때는 집계(aggregation) 방법을 속성에 적용하여 원하는 속성을 얻을 수 있습니다. 예를 들어, 한 가게가 2010년부터 2012년까지의 분기별 매출 데이터를 보유하고 있다고 가정해 보겠습니다. 데이터는 분기 단위로 존재하지만, 연간 매출이 필요하다면 데이터를 집계하여 원하는 결과를 도출해야 합니다.
| 2010년 | 2011년 | 2012년 | |||
|---|---|---|---|---|---|
| 분기 | 매출 | 분기 | 매출 | 분기 | 매출 |
| Q1 | Rs. 10,000 | Q1 | Rs. 8,000 | Q1 | Rs. 15,000 |
| Q2 | Rs. 50,000 | Q2 | Rs. 15,000 | Q2 | Rs. 20,000 |
| Q3 | Rs. 40,000 | Q3 | Rs. 10,000 | Q3 | Rs. 40,000 |
| Q4 | Rs. 30,000 | Q4 | Rs. 20,000 | Q4 | Rs. 30,000 |
| 연간 매출: Rs. 130,000 | 연간 매출: Rs. 53,000 | 연간 매출: Rs. 105,000 | |||
위 표에서 볼 수 있듯이, 2010년부터 2012년까지의 분기별 매출은 집계를 통해 하나의 연간 매출 기록으로 변환됩니다.
개념 계층(Concept Hierarchy)과 데이터 큐브
각 속성에는 개념 계층이 존재할 수 있으며, 이를 통해 여러 수준의 추상화 단계에서 데이터를 분석할 수 있습니다. 예를 들어 지점(branch)에 대한 계층 구조를 설계하면, 주소 정보를 기준으로 개별 지점들을 지역(region) 단위로 묶어 분석할 수 있습니다.
데이터 큐브는 미리 계산해 둔 요약 데이터에 빠르게 접근할 수 있도록 지원합니다. 덕분에 온라인 분석 처리(OLAP)와 데이터 마이닝 작업의 성능이 크게 향상됩니다.
베이스 큐보이드와 아펙스 큐보이드
가장 낮은 추상화 수준에서 생성된 큐브를 베이스 큐보이드(base cuboid)라고 합니다. 베이스 큐보이드는 매출이나 고객처럼 분석 대상이 되는 하나의 개체(entity)에 해당해야 하며, 최저 수준의 데이터는 실제 분석에 활용 가능하고 유의미해야 합니다. 반대로 가장 높은 추상화 수준에 있는 큐브를 아펙스 큐보이드(apex cuboid)라고 부릅니다.
큐보이드 격자(Lattice of Cuboids)
여러 추상화 수준마다 생성된 데이터 큐브들을 각각 큐보이드(cuboid)라고 정의하며, 따라서 데이터 큐브는 큐보이드들의 격자(lattice) 구조로 표현할 수 있습니다. 추상화 수준이 한 단계 올라갈 때마다 결과 데이터의 크기는 점점 줄어듭니다. 따라서 데이터 마이닝 요청에 응답할 때는 해당 작업과 관련된 큐보이드 중 가장 작은 것을 사용하는 것이 효율적입니다.