Azure SQL Data Warehouse 완벽 가이드: 관리형 엔터프라이즈급 클라우드 데이터 웨어하우스

Michael Otey · 2019년 8월 16일 게시

Azure SQL Data Warehouse란 무엇인가?

Azure SQL Data Warehouse는 Microsoft Azure가 제공하는 관리형 데이터 웨어하우스 서비스(DWaaS, Data Warehouse-as-a-Service)입니다. 데이터 웨어하우스란 기업의 운영 시스템에서 수집된 데이터를 하나로 통합해 보관하는 연합형 저장소로, 다양한 소스의 데이터를 수집하고 이를 조회·분석하는 데 초점을 둡니다. Azure SQL Data Warehouse는 최신 정식 버전의 SQL Server를 기반으로 하며, 엔터프라이즈급 데이터 웨어하우스 기능을 그대로 제공합니다.

이 서비스는 2016년 7월에 처음 출시되었으며, 기업이 데이터 웨어하우스를 중앙에서 통합하고 전 세계 어디서든 접근할 수 있도록 지원합니다. Azure 클라우드 리소스를 활용한 뛰어난 확장성을 갖추고 있으며, 대규모 병렬 처리(MPP, Massively Parallel Processing) 기술을 통해 방대한 데이터에 대한 쿼리를 신속하게 실행합니다.

Azure SQL Data Warehouse는 데이터 분석가, 데이터 과학자, 일반 사용자 누구나 활용할 수 있습니다. 데이터 과학자와 분석가는 관계형 및 비관계형 데이터 저장소에서 데이터를 조회하기 위한 저장 구조, 접근 방식, 쿼리를 설계하고, 최종 사용자는 쿼리와 대시보드를 실행해 저장된 정보를 바탕으로 비즈니스 의사결정을 내립니다.

Azure SQL Data Warehouse의 작동 방식

Azure SQL Data Warehouse는 엔터프라이즈급 데이터 웨어하우스 구현을 위해 설계되었으며, 페타바이트(PB) 규모의 대용량 데이터를 Microsoft Azure에 저장할 수 있습니다. MPP를 활용해 분석 쿼리를 처리하기 때문에 대규모 데이터 세트에서도 빠른 쿼리 결과를 제공합니다. 또한 관계형 데이터베이스와 비관계형 빅데이터 저장소 전반에 걸쳐 단일 SQL 기반 뷰를 제공하여, 구조화된 데이터, 비정형 데이터, 스트리밍 데이터를 클라우드 기반 데이터 웨어하우스 안에서 하나로 통합할 수 있습니다. 사용자는 SSMS(SQL Server Management Studio)로 시스템을 관리하고, Azure Data Studio(ADS)로 쿼리를 작성할 수 있습니다.

SQL Data Warehouse는 PolyBase를 통해 Hadoop 등 빅데이터 저장소를 직접 쿼리할 수 있습니다. PolyBase를 활용하면 표준 T-SQL 쿼리만으로 외부 데이터를 SQL Data Warehouse로 가져올 수 있어, 모든 데이터에 대해 단일 SQL 쿼리 인터페이스를 사용할 수 있습니다. 아울러 열 기반(columnar) 저장 방식으로 관계형 테이블에 데이터를 저장해 스토리지 비용을 절감하고 쿼리 성능을 높입니다.

SQL Data Warehouse는 스케일아웃(scale-out) 아키텍처를 채택해 여러 노드에 걸쳐 데이터 연산을 분산 처리합니다. 특히 컴퓨팅과 스토리지가 분리되어 있어 두 리소스를 독립적으로 확장할 수 있으며, 조직에 필요한 만큼만 비용을 지불하면 됩니다.

Azure SQL Data Warehouse의 장점과 단점

주요 장점

기업이 자체적으로 엔터프라이즈급 데이터 웨어하우스를 구축하는 것보다 비용 효율적인 종량제(pay-as-you-go) 모델
Azure 클라우드의 컴퓨팅 및 스토리지 리소스 활용
필요에 따라 유연하게 확장 가능한 컴퓨팅 파워
Microsoft가 시스템 관리를 대신 수행
99.9% 가동률 SLA 보장
PCI-DSS, SOX, HIPAA 등 표준 및 규정 완전 준수
Azure Threat Detection 기반의 내장형 고급 보안 기능
TDE(투명한 데이터 암호화)를 통한 미사용 데이터 보호
Azure Active Directory, Data Factory, Data Lake Storage, Databricks, Power BI와의 원활한 통합

주요 단점

기존 데이터를 클라우드 서비스로 이전하는 과정이 까다로울 수 있음
IaaS 환경에서 데이터를 옮기는 작업이 복잡할 수 있음
동시 쿼리는 최대 32개, 활성 연결은 최대 1,024개로 제한됨
인메모리 OLTP 미지원
일부 기능은 클래식 포털에서만 사용 가능

요금 체계

Azure SQL Data Warehouse를 도입하려면 요금 구조를 정확히 이해하는 것이 중요합니다. 대부분의 클라우드 서비스와 달리, 이 서비스는 컴퓨팅과 스토리지라는 두 가지 리소스에 대해 각각 요금을 지불합니다. 스토리지는 TB당 월 122.88달러로 책정되며, 데이터 웨어하우스 용량과 7일치 증분 스냅샷 스토리지가 포함됩니다. 재해 복구를 위한 지역 이중화 스토리지는 GB당 월 0.12달러부터 청구됩니다. 컴퓨팅은 DWU(Data Warehouse Units) 기준으로 단계별 책정되며, DW100c의 시간당 1.20달러부터 DW30000c의 시간당 360달러까지 선택할 수 있습니다. 다년간 계약 시에는 추가 할인 혜택도 제공됩니다.

참고: Azure Synapse Analytics로의 전환

Microsoft는 2019년 말 Azure SQL Data Warehouse를 Azure Synapse Analytics로 브랜드를 변경하고, 데이터 통합과 빅데이터 분석 기능을 통합한 차세대 분석 서비스로 발전시켰습니다. 따라서 신규 프로젝트를 계획 중이라면 최신 기능과 로드맵을 반영한 Azure Synapse Analytics를 우선적으로 검토하는 것이 좋습니다.