지난 빅데이터 관련 연재 글에서는 빅데이터의 개념과 아키텍처부터, 오늘날 방대한 데이터를 관리·운영·저장하고 실질적으로 활용하는 데 도움이 되는 다양한 도구까지 폭넓게 다루어 왔습니다. 빅데이터의 특징을 나타내는 V(V's of Big Data)와 그에 따른 과제들도 함께 살펴보았습니다.
그동안 다룬 주요 도구들을 간단히 정리하면 다음과 같습니다.
- 데이터 추출 도구 – 오픈소스 및 상용 솔루션 모두 포함
- 클라우드 데이터 저장 도구 – 기업의 빅데이터를 안전하게 보관
- 오프라인 데이터 클렌징 도구 – 빅데이터 내 오류 및 결함 보정
- 데이터 마이닝 도구 – 수 테라바이트의 데이터 속 숨겨진 유용한 정보 발굴
- 데이터 시각화 도구 – 데이터 인사이트를 그래픽으로 직관적으로 표현
이번 글에서는 빅데이터 아키텍처의 다음 기능 계층인 데이터 통합(Data Integration)을 다룹니다. 데이터 통합은 다른 모든 기능을 연결하는 가교 역할을 하며, 여러 이기종 소스에서 데이터를 결합하여 분석, 비즈니스 인텔리전스(BI), 리포팅 또는 애플리케이션 적재 등에 활용하는 프로세스를 의미합니다.
데이터 통합 도구는 크게 세 가지 유형으로 나눌 수 있습니다.
- 대형 제품 스위트에 포함된 통합형 도구
- 독립형(Independent) 플랫폼
- 오픈소스 도구
독립형 데이터 통합 도구 베스트 8
1. Adeptia Suite
Adeptia Suite는 시장에서 가장 다재다능하고 포괄적인 통합 소프트웨어 플랫폼으로 평가받습니다. 중앙에서 관리되는 엔터프라이즈급 데이터 통합 소프트웨어로, 안정적인 성능과 높은 가동률(Uptime)을 보장합니다. 클라우드 환경과 온프레미스 환경 모두를 지원하는 통합 솔루션을 제공합니다.
2. Apatar
Apatar는 Oracle, MS SQL, MySQL, Sybase, DB2, SalesForce.Com, SugarCRM 등 다양한 애플리케이션과 데이터 소스 간의 연결성을 구축하는 데 활용됩니다. 별도의 코딩 없이 비주얼 잡 디자이너(Visual Job Designer)를 통해 플랫폼 독립적으로 운영할 수 있으며, Salesforce 및 QuickBooks를 지원하는 버전도 제공됩니다.
3. Centerprise Data Integrator
Centerprise Data Integrator는 사용 편의성을 고려해 설계된 강력하고 확장 가능한 고퍼머먼스 통합 플랫폼으로, 합리적인 비용으로 복잡한 데이터 통합 과제까지 처리할 만큼 견고합니다. XML, EDI(전자상거래 데이터 교환), 웹 서비스 등 복잡한 계층 구조의 데이터 매핑에 특히 강점이 있어 어려운 통합 문제 해결에 적합합니다.
4. Clover ETL
Clover ETL은 신속한 개발에 최적화된 순수 데이터 통합 스위트입니다. 핵심 기능은 무료로 제공되며, 유료 버전 세 종류는 커넥터 추가, 스케줄링·자동화, 병렬 처리 및 빅데이터 지원 등을 단계적으로 포함합니다. 멀티스레드 실행 모델을 기반으로 대량 작업(Bulk Operation)을 지원하며, 데이터 파이프라인 자동화에도 효과적입니다.
5. Elixir Data ETL
Elixir Data Integration 도구는 일반 비즈니스 사용자와 엔터프라이즈 담당자 모두에게 온디맨드 방식의 셀프서비스 데이터 조작 기능을 제공합니다. 오픈소스 특성 덕분에 다양한 소스의 데이터를 손쉽게 통합·커스터마이징할 수 있으며, 뛰어난 확장성을 바탕으로 운영 데이터 분석 요구를 충족하도록 설계되었습니다.
6. Informatica
Informatica는 데이터 통합 소프트웨어 분야의 선두주자입니다. 어떤 비즈니스 시스템이든 어떤 형식이든 데이터에 접근·통합하고, 이를 기업 전체에 원하는 규모와 속도로 전달할 수 있습니다. 자동화, 데이터 재사용, 애자일 지원을 포함한 고퍼머먼스 데이터 마이그레이션 기술을 통해 수작업 데이터 입력에 따른 위험을 제거합니다.
특히 Informatica Cloud는 엔터프라이즈 애플리케이션, 데이터베이스, 플랫 파일, 파일 피드는 물론 소셜 네트워킹 사이트까지 온프레미스 및 클라우드 기반의 다양한 애플리케이션과 연결됩니다.
7. Talend Data Integration
Talend Data Integration은 기업이 데이터가 지닌 가치를 극대화하도록 돕습니다. Talend 데이터 플랫폼은 개방적이고 확장 가능한 아키텍처를 기반으로 하며, 실시간 또는 배치 방식으로 어떤 비즈니스 시스템의 데이터든 접근·변환·통합할 수 있는 오픈소스 도구 세트를 갖추고 있어 운영 및 분석 목적의 데이터 통합 요구를 모두 충족합니다. 네이티브 데이터베이스, 패키지 애플리케이션(ERP, CRM 등), SaaS 및 클라우드 애플리케이션, 메인프레임, 파일, 웹 서비스, 데이터 웨어하우스, 데이터 마트, OLAP 애플리케이션 등 폭넓은 연결성을 제공합니다.
8. Syncsort
Syncort의 대표 데이터 통합 제품인 DMExpress는 고성능 압축 기술과 고성능 조인 알고리즘을 탑재한 가장 빠른 버전입니다. 데이터 통합 프로세스를 가속화하는 데 필요한 모든 구성 요소를 갖추고 있으며, 메타데이터 교환 기능을 통해 Informatica나 IBM DataStage 같은 다른 플랫폼의 작업(Job)을 손쉽게 가져와 배포 기간을 단축할 수 있습니다.
이 외에도 Syncsort는 두 가지 변형 제품을 제공합니다.
- DMX-h – HadoopSort 및 Hadoop ETL 지원
- Syncsort MFX – CPU 시간, 경과 시간, 디스크 I/O 활동을 줄여 데이터 지연을 제거하면서 범용 하드웨어에서 최소한의 리소스만 사용합니다. zIIP 엔진으로 CPU 사이클을 오프로드하는 유일한 메인프레임 정렬 솔루션입니다.
지금까지 살펴본 것은 최고의 독립형 데이터 통합 도구 목록입니다. 다음 글에서는 나머지 두 가지 유형, 즉 여러 빅데이터 기능을 함께 수행하는 통합형 도구 그룹과 오픈소스 데이터 통합 도구 그룹을 소개할 예정이니 많은 기대 부탁드립니다.