최고의 오픈 소스 데이터 통합 도구 7가지 완벽 정리

지난 블로그에서는 빅데이터 아키텍처 전반에 걸친 다양한 도구들을 원활하게 연동해 빅데이터 프로세스 전체가 매끄럽게 작동하도록 돕는 최고의 독립형 데이터 통합 도구를 소개했습니다. 이번 글에서는 오픈 소스로 제공되는 최고의 데이터 통합 도구들을 정리해 보겠습니다.

일반적으로 데이터 통합 프로젝트는 다음과 같은 단계로 진행됩니다.

1. 온프레미스(on-premise) 소스, 클라우드 소스 등 모든 데이터 소스에 접근합니다.
2. 이전 단계에서 접근한 데이터를 통합합니다.
3. 통합된 데이터를 실시간 또는 준실시간으로 비즈니스에 전달합니다.

최고의 오픈 소스 데이터 통합 도구

1. Apatar

Apatar는 Java로 작성된 가장 널리 알려진 오픈 소스 데이터 통합 도구입니다. 가트너 그룹(Gartner Group)에 따르면 기업 개발자는 애플리케이션 간 연결 구축에 전체 노력의 65%를 소비한다고 합니다. Apatar는 데이터와 애플리케이션을 효과적으로 통합하고 데이터 클렌징 및 검증 기능을 제공하여, 이기종 데이터베이스·파일·애플리케이션 간 정보 통합에 드는 시간을 크게 절약해 줍니다.

Apatar는 오픈 소스 패키지 중에서도 독보적인 기능들을 갖추고 있습니다.

1. 유연한 배포 옵션
2. 양방향(bi-directional) 통합 지원
3. 플랫폼 독립적 — Windows, Linux, Mac에서 실행 가능하며 100% Java 기반
4. Java 소스 코드가 포함되어 있어 손쉬운 커스터마이징 가능
5. 개발자가 아니어도 변환 작업을 설계하고 수행할 수 있음
6. Salesforce, SugarCRM, Goldmine, JDBC 데이터 소스, Sybase, DB2, Oracle, MS SQL, MySQL, XML 등 폭넓은 연결성 지원

함께 읽으면 좋은 글: LIDAR 기술의 활용 분야

2. Clover

Clover 데이터 통합 도구는 Java 오픈 소스 엔진을 기반으로 빌드된 버전을 제공합니다. 그래픽 사용자 인터페이스(GUI) 구성 요소는 없지만, 파일-데이터베이스 적재부터 데이터베이스·파일·웹 서비스 API 간 복잡한 데이터 이동 자동화에 이르기까지 투명한 데이터 변환을 효율적으로 개발, 배포, 자동화할 수 있습니다. 또한 이 에디션에서는 제품군 전반에서 제공되는 강력한 데이터 변환 및 ETL 기능 대부분을 활용할 수 있습니다.

3. Jaspersoft ETL

Jaspersoft ETL은 배포가 간편하면서도 많은 상용 데이터 통합 도구보다 뛰어난 성능을 발휘합니다. 트랜잭션 시스템에서 데이터를 추출해 보고 및 분석용 데이터 웨어하우스나 데이터 마트를 구축하는 데 활용할 수 있습니다. Talend 기술을 기반으로 하며, 데이터 통합 요구 사항에 부합하는 가장 유연하고 강력하며 경제적인 오픈 소스 도구로 평가받습니다. 이 도구는 소수 개발자부터 다수의 개발자 환경까지 지원하면서도 최대 수준의 데이터 볼륨과 프로세스 복잡도에 맞게 확장되도록 설계되었습니다. 사용자는 운영 데이터 저장소(ODS), 데이터 마트, 데이터 웨어하우스 적재와 같은 BI 프로젝트를 위해 데이터 이동과 변환을 그래픽 방식으로 설계, 예약, 실행할 수 있습니다.

4. KETL

KETL은 최고의 오픈 소스 데이터 통합 도구 중 하나로 꼽힙니다. KETL 데이터 통합 플랫폼은 이식성이 뛰어난 Java 기반 아키텍처와 개방형 XML 기반 구성 및 잡(job) 언어를 특징으로 하며, 경쟁하는 모든 상용 도구에 필적하는 성능을 자랑합니다. 주요 특징은 다음과 같습니다.

1. 보안 및 데이터 관리 도구와의 통합을 지원합니다.
2. 여러 서버와 CPU, 그리고 어떤 규모의 데이터에도 확장 가능한 뛰어난 확장성을 갖추고 있습니다.
3. 서드파티 스케줄링, 의존성 관리, 알림 도구를 별도로 도입할 필요가 없습니다.

5. Pentaho Data Integration

Pentaho Data Integration은 'Kettle'이라는 이름으로도 알려진 최고 수준의 데이터 통합 도구입니다. 혁신적인 메타 기반(meta-driven) 접근 방식을 활용하는 강력한 추출(Extract), 변환(Transform), 적재(Load) 기능을 갖추고 있습니다. 직관적인 그래픽 드래그 앤 드롭 디자인 환경을 제공하며, 이 스탠드얼론 애플리케이션을 활용하면 기존 데이터를 추출해 손쉬운 보고와 분석이 가능하도록 만드는 변환(transformation)과 잡(job)을 시각적으로 설계할 수 있습니다.

6. Talend Open Studio

Talend Open Studio는 탁월한 유연성을 제공하는 오픈 소스 데이터 통합 소프트웨어로, 다양한 통합 과제를 해결할 수 있도록 지원합니다. 데이터 관리 및 애플리케이션 통합 프로젝트의 개발, 테스트, 배포, 운영 관리를 위한 강력하고 다재다능한 오픈 소스 제품군을 제공합니다. 데이터 통합, 데이터 품질, MDM, 애플리케이션 통합, 빅데이터를 하나로 결합한 사용하기 쉬운 Eclipse 기반 그래픽 환경 덕분에 생산성 높은 도구로 입증되었습니다.

7. Jedox

Jedox는 사용자 친화적이면서 강력한 데이터 통합 도구입니다. 모든 데이터베이스 시스템을 다차원 Jedox OLAP 서버와 결합할 수 있어, BI/PM 애플리케이션을 기존 IT 환경에 빠르고 쉽게 통합할 수 있습니다. Jedox Integrator는 명령줄 수준에서도, 더 편리하게는 Jedox Web의 웹 기반 Integrator 구성 요소를 통해서도 운영할 수 있습니다.

Jedox Integrator를 활용하면 유연한 데이터 가져오기를 손쉽게 완전 자동화할 수 있습니다. 표준화된 인터페이스를 통해 모든 주류 관계형 데이터베이스를 데이터 소스로 연결할 수 있으며, 복잡한 변환과 집계 작업도 손쉽게 모델링할 수 있습니다.

데이터 통합이란 서로 다른 여러 소스에서 생성되어 다양한 기술로 저장된 데이터를 결합해 데이터에 대한 통합된 뷰(unified view)를 제공하는 작업을 의미합니다. 올바른 데이터를 올바른 형식으로, 올바른 시점에 전달하면 분석 품질과 비즈니스 프로세스가 한층 향상됩니다.

이번 글에서는 오픈 소스 데이터 통합 도구 목록을 살펴보았습니다. 다음 블로그에서는 세 번째 그룹, 즉 대규모 제품 스위트에 내장된 통합 도구 목록을 확인해 보겠습니다.