지난 블로그에서는 오픈소스 데이터 추출 도구에 대해 살펴보았습니다. "ETL 도구"의 핵심 목적은 조직 전반에 흩어져 있는 여러 데이터베이스나 운영 시스템의 데이터를 수집하여 하나의 중앙 집중식 데이터베이스로 이동·복사·전송하는 것입니다. 이렇게 구축된 "중앙 집중식 데이터베이스"는 흔히 "데이터 웨어하우스(Data Warehouse)"라고 불립니다. 또한 ETL 도구는 단순한 SQL 문으로는 처리하기 어려운 복잡한 데이터 변환 작업을 수행하는 데에도 폭넓게 활용됩니다.
주요 상용 ETL 도구 한눈에 보기
그렇다면 시장에는 어떤 상용 ETL 도구들이 존재할까요? 기업 환경에서 널리 사용되는 대표적인 도구들을 소개합니다.
1. IBM InfoSphere DataStage
IBM Information Platforms Solutions 제품군과 IBM InfoSphere에 포함된 ETL 도구입니다. 그래픽 표기법을 활용해 데이터 통합 솔루션을 구축하며, 고성능 병렬 프레임워크를 통해 여러 시스템 간 데이터를 통합하고 확장된 메타데이터 관리와 엔터프라이즈 연결성을 지원합니다. 확장 가능한 플랫폼 덕분에 분산 환경과 메인프레임 플랫폼에서 Hadoop 기반의 정적 빅데이터든 스트림 기반의 실시간 빅데이터든 모든 유형의 데이터를 유연하게 통합할 수 있습니다.
2. Microsoft SQL Server Integration Services(SSIS)
마이크로소프트 SSIS는 Microsoft SQL Server 데이터베이스에 내장된 엔터프라이즈급 데이터 통합, 변환, 마이그레이션 도구입니다. 데이터 분석 및 정제, 데이터 웨어하우스 업데이트를 위한 추출·변환·적재(ETL) 프로세스 실행 등 다양한 통합 작업에 활용할 수 있습니다.
3. Adeptia ETL Suite
Adeptia는 강력한 ETL 기능을 직관적이고 사용하기 쉬운 인터페이스와 결합하여, 사용자가 다양한 형식의 파일을 손쉽게 변환할 수 있도록 지원합니다. IT 담당자가 아닌 일반 비즈니스 사용자도 사용할 수 있도록 설계되어, 현업 부서가 실시간으로 데이터에 접근하고 자신의 업무에 맞게 데이터를 직접 변환할 수 있습니다. 동시에 IT 부서는 프로세스를 관리하며 데이터가 안전하고 정확하게 처리되도록 보장할 수 있습니다.
4. Informatica PowerCenter
Informatica PowerCenter는 엔터프라이즈 데이터 웨어하우스 구축에 가장 널리 사용되는 ETL 도구 중 하나입니다. 주요 구성 요소는 클라이언트 도구, 서버, 리포지토리 서버, 리포지토리이며, PowerCenter 서버와 리포지토리 서버가 ETL 계층을 구성해 전체 ETL 처리를 수행합니다.
5. IBI iWay DataMigrator
Data Migrator는 ETL 프로세스는 물론 데이터 웨어하우스, 데이터 마트, 운영 데이터 저장소(ODS)의 구축·유지보수·확장까지 획기적으로 단순화하도록 설계된 강력하고 포괄적인 자동화 도구입니다. 직관적인 인터페이스를 통해 서로 다른 컴퓨팅 플랫폼과 이질적인 데이터 구조를 아우르는 종단간(end-to-end) ETL 프로세스를 신속하게 만들 수 있습니다. 특히 변경 데이터 캡처(CDC) 기능은 변경된 레코드만 데이터 소스에 적재하여 갱신 시간을 크게 줄여주며, 거의 실시간에 가까운 데이터 웨어하우스 구현을 가능하게 합니다.
6. Elixir Data ETL
Elixir Data ETL은 비즈니스 사용자를 위한 온디맨드 셀프서비스 데이터 조작부터 엔터프라이즈급 데이터 처리 요구까지 모두 지원하도록 설계되었습니다. 시각적 모델링 패러다임을 통해 데이터 추출, 집계, 변환 작업의 설계·테스트·구현에 소요되는 시간을 획기적으로 단축할 수 있습니다. 이는 애플리케이션 처리, 엔터프라이즈 리포팅, 성과 측정, 데이터 마트 및 데이터 웨어하우스 구축 등 모든 프로젝트에서 필수적인 과정입니다.
7. Syncsort DMX
Syncsort DMX는 모든 데이터 변환을 고성능 인메모리(in-memory) ETL 엔진에서 처리합니다. 변환 작업이 즉시(on-the-fly) 실행되기 때문에 비용이 많이 드는 데이터베이스 스테이징 영역이나 데이터베이스로의 수동 변환 전달이 필요 없습니다.
8. SAS Data Management
SAS Data Management를 활용하면 비즈니스 사용자가 스스로 데이터를 업데이트하고 프로세스를 조정하며 결과를 분석할 수 있어, IT 인력을 다른 프로젝트에 투입할 여유가 생깁니다. 또한 내장된 비즈니스 용어집(business glossary)과 SAS 및 서드파티 메타데이터 관리, 데이터 계보(lineage) 시각화 기능이 조직 전체가 동일한 정보를 공유하도록 도와줍니다.
9. SAP Data Services
SAP Data Services는 프로젝트 수준에서 엔터프라이즈 수준까지 데이터를 통합, 변환, 개선하는 데 도움을 줍니다. 데이터 통합, 데이터 품질, 데이터 프로파일링, 텍스트 데이터 처리를 위한 단일 엔터프라이즈급 솔루션을 제공하여 사용자가 데이터를 통합·변환·개선·전달할 수 있도록 지원합니다.
10. Oracle Data Integrator Enterprise Edition
Oracle ODI EE는 추출·적재·변환(E-LT) 기술을 통해 이기종 시스템 간에도 성능을 개선하고 데이터 통합 비용을 절감합니다. 높은 성능과 낮은 총소유비용(TCO), 엔터프라이즈 데이터 통합을 위한 이기종 플랫폼 지원, 그리고 개발자 생산성과 확장성을 극대화하는 지식 모듈(Knowledge Module)을 제공합니다.
11. Meta Suite
Meta Suite는 빠른 가치 실현(time-to-value), 뛰어난 확장성, 그리고 폭넓은 소스·타깃 파일 및 데이터베이스 유형 지원을 강점으로 합니다. 운영 데이터의 추출, 적재, 병합 같은 기본 작업 외에도 데이터를 통합하고 체계화하여 MDM(마스터 데이터 관리)을 지원하는 데에도 활용할 수 있습니다.
12. Pervasive Data Integrator
현재는 Actian의 일부가 된 제품입니다. 복잡한 통합 작업을 수행하면서도 놀랍도록 사용하기 쉽고 별도의 전문 기술을 요구하지 않습니다. 설계, 배포, 관리에 필요한 풍부한 기능이 매우 직관적으로 구성되어 있으면서도 비용 부담은 적습니다. 온프레미스 버전과 클라우드 버전 모두 동일한 풀기능 웹 UI를 사용한다는 점도 큰 장점입니다.
13. Sagent Data Flow
Sagent Data Flow는 서로 다른 소스의 데이터를 수집하는 강력하고 유연한 통합 엔진입니다. Pitney Bowes Software가 설계했으며, 비즈니스 가치를 높이는 포괄적인 데이터 변환 도구 세트를 제공합니다. 정보를 분석하고 의미 있는 보고서를 작성하여 비즈니스 이해도를 높이는 데 효과적입니다.
우리 회사에 맞는 ETL 도구는 어떻게 선택할까?
소프트웨어나 도구의 선택은 결국 어떤 요구사항을 가지고 있는지에 따라 달라지며, 이는 사업 분야마다 크게 다릅니다. 예를 들어 통신 사업은 의류 매장에 비해 훨씬 방대하고 복잡한 데이터를 다뤄야 하므로, 복잡한 데이터를 처리할 수 있는 고성능 도구를 선택하는 것이 합리적입니다. 반면 소매점은 프로그래밍 기술이나 전문적인 기술 배경이 부족한 경우가 많기 때문에, 복잡성이 낮고 누구나 쉽게 사용할 수 있는 도구를 선호하는 경향이 있습니다.
다음 블로그에서는 참조 아키텍처(Reference Architecture)의 다음 계층에 해당하는 도구들을 소개하겠습니다.