데이터 마이닝 시스템과 데이터베이스 시스템의 통합이란?
데이터 마이닝 시스템은 최상의 성능으로 작업을 수행하기 위해 데이터베이스 또는 데이터 웨어하우스 시스템과 통합되어 운영됩니다. 데이터 마이닝은 단독으로 존재하는 기술이 아니라, 대용량 데이터를 저장·관리하는 다른 정보 시스템과 끊임없이 상호작용해야 하는 환경에서 동작하기 때문입니다.
데이터 마이닝 시스템과 데이터베이스(또는 데이터 웨어하우스) 시스템을 연결하는 방식은 크게 네 가지로 나눌 수 있습니다. 각 방식은 통합의 정도와 시스템 간 의존성 수준에 따라 구분되며, 아래에서 하나씩 자세히 살펴보겠습니다.
1. 비결합 (No Coupling)
비결합 방식은 데이터 마이닝 시스템이 데이터베이스나 데이터 웨어하우스의 어떤 기능도 전혀 사용하지 않는 구조를 의미합니다. 이 경우 데이터 마이닝 시스템은 파일 시스템 등 특정 소스에서 직접 데이터를 가져오고, 자체적인 데이터 마이닝 알고리즘으로 데이터를 처리한 뒤, 그 결과를 별도의 파일에 저장하게 됩니다.
구조가 단순하다는 장점이 있지만, 여러 가지 한계로 인해 실무 활용도는 떨어집니다. 첫째, 데이터베이스 시스템은 데이터의 저장, 조직화, 접근, 처리 과정에서 뛰어난 유연성과 적응성을 제공하는데, 이를 활용하지 못하면 그 혜택을 전혀 누릴 수 없습니다. 둘째, 데이터베이스나 데이터 웨어하우스 없이 작업할 경우, 데이터 마이닝 시스템이 데이터를 검색하고 수집하며 정제하고 변환하는 데 막대한 시간을 낭비하게 됩니다. 즉, 핵심 분석보다 전처리에 리소스가 집중되는 비효율이 발생합니다.
2. 느슨한 결합 (Loose Coupling)
느슨한 결합 방식에서는 데이터 마이닝 시스템이 데이터베이스나 데이터 웨어하우스 시스템이 제공하는 일부 서비스를 활용합니다. 해당 시스템들이 관리하는 데이터 저장소(repository)에서 데이터를 가져온 후, 데이터 마이닝 기법으로 처리하고, 그 결과를 파일 또는 데이터베이스·데이터 웨어하우스 내의 지정된 영역에 저장하는 구조입니다.
이 방식은 비결합보다 우수한데, 그 이유는 질의 처리(query processing)나 다양한 시스템 유틸리티를 통해 데이터베이스에 저장된 데이터의 일부 영역을 효율적으로 불러올 수 있기 때문입니다. 다만 두 시스템이 완전히 통합된 것은 아니므로, 여전히 일부 중복 작업이 발생할 수 있다는 점은 감안해야 합니다.
3. 준긴밀한 결합 (Semitight Coupling)
준긴밀한 결합 방식은 데이터베이스·데이터 웨어하우스 시스템 안에서 몇 가지 필수적인 데이터 마이닝 기본 연산(primitive)의 효율적인 실행을 지원하는 방식입니다. 여기서 말하는 기본 연산에는 정렬(sorting), 인덱싱(indexing), 집계(aggregation), 히스토그램 분석, 다중 조인(multi-way join) 등이 포함됩니다.
또한 합계(sum), 개수(count), 최댓값(max), 최솟값(min), 표준편차 같은 주요 통계 측정값들을 사전 계산(pre-computation)하여 재사용함으로써, 반복적인 분석 작업의 속도를 크게 향상시킬 수 있습니다. 이렇게 하면 데이터 마이닝 알고리즘이 실행될 때마다 처음부터 모든 연산을 수행하지 않아도 되어 전체 처리 효율이 좋아집니다.
4. 긴밀한 결합 (Tight Coupling)
긴밀한 결합은 데이터 마이닝 시스템이 데이터베이스·데이터 웨어하우스 시스템에 매끄럽게 완전 통합된 형태를 의미합니다. 이 경우 데이터 마이닝 서브시스템은 독립된 외부 도구가 아니라 정보 시스템의 하나의 기능적 요소(functional element)로 취급됩니다.
데이터 마이닝 질의와 함수들은 데이터베이스·데이터 웨어하우스 시스템의 마이닝 질의 분석, 데이터 구조, 인덱싱 방식, 질의 처리 방법론을 기반으로 설계 및 구현됩니다. 이러한 깊은 수준의 통합은 데이터 마이닝 기능의 효율적인 실행, 높은 시스템 성능, 그리고 통합된 데이터 처리 환경을 모두 실현할 수 있기 때문에 가장 이상적인 방식으로 평가받습니다.
결론: 어떤 통합 방식이 가장 좋은가?
네 가지 통합 방식을 요약하면 다음과 같습니다. 비결합은 구현이 간단하지만 비효율적이고, 느슨한 결합은 일부 기능만 공유하는 중간 수준이며, 준긴밀한 결합은 핵심 연산을 데이터베이스 차원에서 지원해 성능을 높입니다. 그리고 긴밀한 결합은 시스템 전체가 하나로 융합되어 최고의 성능과 통합 환경을 제공합니다.
따라서 대규모 데이터 분석 환경에서는 긴밀한 결합 또는 준긴밀한 결합 방식을 채택하는 것이 바람직하며, 이를 통해 데이터 마이닝의 잠재력을 극대화할 수 있습니다.