최근 몇 년간 데이터 레이크(Data Lake)는 기술 업계의 변두리에서 데이터 사이언스 분야의 최고 프리미엄 부동산으로 자리를 옮겼습니다. 왜 이런 흐름이 만들어지고 있으며, 데이터 레이크는 대체 왜 중요할까요? 답은 의외로 간단합니다. 그 안에 '가치'가 있기 때문입니다.
데이터에는 가치가 있다
기업이 보유한 데이터에 막대한 잠재적 가치가 담겨 있다는 사실은 날로 명확해지고 있습니다. Google, Facebook과 같은 인터넷 거인들의 기업 가치 상당 부분은 데이터에서 비롯됩니다. 하지만 인터넷 거인이 아니어도 데이터에서 충분히 가치를 얻을 수 있습니다. 제조 기업은 데이터로 설비 고장을 예측하고, 금융기관은 리스크를 더 정교하게 관리하며, 온라인 소매업체는 고객 유지율을 높이고, 수많은 조직이 새로운 인사이트를 발견하는 데 데이터를 활용합니다.
언뜻 보면 공식은 꽤 단순합니다. 데이터를 비즈니스 분석 도구나 머신러닝(ML) 시스템에 넣으면 인사이트가 나온다는 것. 하지만 현실은 그리 단순하지 않습니다. 분석 문제를 본격적으로 다루기 전에 반드시 충족해야 할 전제 조건이 하나 있습니다. 바로 인사이트를 담고 있는 데이터를 실제로 확보하고 있어야 한다는 점입니다.
단순히 또 하나의 데이터 웨어하우스 솔루션 아닌가?
"그건 데이터 웨어하우스가 해결하는 문제 아닌가?"라고 생각할 수 있습니다. 그렇지 않습니다. 데이터 웨어하우스는 미리 정의된 특정 비즈니스 문제를 풀기 위해 설계됩니다. 데이터 웨어하우스의 데이터 적재는 추출-변환-적재(ETL) 워크플로를 따릅니다. 원본 시스템에서 데이터를 추출하고, 웨어하우스의 구조에 맞게 변환한 뒤 적재하는 방식이죠. 이 시점에서 데이터는 이미 구조화·필터링되고, 정의된 비즈니스 문제와 무관한 데이터는 배제됩니다.
즉, ETL 과정에서 우리는 어떤 값은 남기고 어떤 값은 버리며, 어떤 데이터는 보강하고 관계를 형성하거나 무시하는 선택을 암묵적으로든 명시적으로든 이미 내려버린 것입니다. 그런데 버려진 정보가 필요한 새로운 비즈니스 문제가 등장하면 어떻게 될까요? 비즈니스 환경은 끊임없이 변하고, 미래의 문제는 예측할 수 없습니다. 현재의 문제 집합에 아무리 잘 맞는 ETL 프로세스라도, 웨어하우스를 채우는 시점에 내린 이 결정들 때문에 미래의 잠재 가치는 상당량 손실됩니다.
데이터 레이크의 등장
잠재 가치를 최대한 보존하려면 원본 데이터를 버려서는 안 됩니다. 모든 데이터를 원본(raw) 형식 그대로 저장해 두고, 활용 방법은 나중에 결정하면 어떨까요? 여러 강줄기가 흘러 하나의 호수를 이루듯, 데이터가 중앙 저장소로 흘러들어 '데이터 호수', 즉 데이터 레이크를 형성하는 것입니다. 다르게 표현하면, 데이터를 추출해 일단 저장하고 필요할 때 변환·적재하는 방식으로, 흔히 ETL에서 T와 L의 순서를 바꾼 ELT(Extract, Load, Transform)라고 부릅니다.
과거에는 스토리지 비용과 나중에 의미 있는 구조를 뽑아내는 비용이 해당 데이터가 품을 가능성보다 훨씬 컸습니다. 그러나 오늘날 스토리지 비용과 비정형 데이터 속에서 유용한 구조를 추출하는 비용이 크게 낮아지면서, 점점 더 많은 기업이 이 방식을 경제적으로 활용할 수 있게 되었습니다.
원시 데이터를 모아두기만 하면 데이터 레이크일까?
자, 간단해 보입니다. 모든 원시 데이터를 한곳에 던져 넣으면 끝일까요? 전혀 아닙니다. 고객과 기업, 그리고 데이터 자체를 보호하면서도 미래의 데이터 사이언티스트와 분석가가 활용할 수 있게 하려면, 데이터 적재는 올바른 방법으로 수행되어야 합니다. 이를 위해 다음과 같은 중요한 요소들을 고려해야 합니다.
- 탐색성: 미래의 데이터 사이언티스트와 분석가가 원하는 데이터를 어떻게 찾을 수 있을까요? 원시 데이터는 반드시 인덱싱되어야 합니다.
- 효율성: 데이터를 어떻게 효율적으로 추출할 수 있을까요? 컬럼형(columnar) 포맷처럼 효율적인 파일 형식으로 저장해야 합니다.
- 민감정보 보호: 개인 식별 정보(PII), 건강 정보(PHI), 카드 정보(CD) 등 민감한 데이터는 어떻게 처리할까요? 데이터 난독화(obfuscation)가 필요합니다.
- 보안과 규제: GDPR 같은 데이터 프라이버시 규정과 데이터 주권(data sovereignty)을 준수하고, 또 다른 데이터 유출 헤드라인에 오르지 않으려면 어떻게 해야 할까요? 적절한 권한과 접근 통제를 적용하는 ID 및 접근 관리(IAM)를 구현해야 합니다.
중복 제거나 식별 키가 없는 레코드 매칭 문제는 어떨까요? 123 Main St, Some Town, USA와 123 Main Street, Some Town, USA는 같은 주소일까요? Robert Smith와 Bob Smith는 동일 인물일까요? 사실 이 정도는 오히려 단순한 예에 불과합니다. 실제 데이터 세트에는 훨씬 복잡한 경우가 존재합니다.
데이터가 레이크에 들어가 적절한 인덱싱과 통제 장치를 갖추었다면, 활용 전에 구조화된 형식으로 변환해야 합니다. 일반적으로는 데이터를 읽는 시점에 스키마를 적용하는 'just-in-time 스키마' 방식을 의미합니다. 다양한 원시 포맷의 데이터를 알려진 구조로 프로젝션(projection)하여 ML, 웨어하우징, BI(비즈니스 인텔리전스) 시스템이 소비할 수 있게 만드는 것입니다. 참고로 데이터가 레이크에 진입하는 단계에서 일부 무손실 변환이 이루어지므로, 이를 굳이 표현하자면 EtS-TL(Extract, transform, Store – Transform and Load)이라 부를 수도 있겠지만, 명명법 논쟁은 별개의 화두로 남겨두겠습니다.
데이터 활용하기
데이터는 이제 레이크 안에 있지만, 현재 상태 그대로는 쓸 수 없습니다. 미뤄두었던 데이터 변환 결정을 이제 내려야 합니다. 스키마를 정하고 데이터를 추출했다면, 해당 스키마에 맞는 방식으로 클렌징(cleansing)해야 합니다. 한 스키마·분석에서 무효한 데이터가 다른 분석에서는 완전히 유효할 수 있습니다.
예를 들어 소유주 이름, 부지 주소, 자산 가치, 체납 여부, 토지 용도(주거용, 사무실, 산업용 등), 재산세 계좌번호를 담은 토지 소유권 데이터 세트를 생각해 봅시다. 토지 용도와 체납 여부의 상관관계를 분석하는 데 소유주 이름은 필요 없습니다. 반대로 자산 가치와 토지 용도의 상관관계를 찾는 데는 체납 데이터가 필요 없죠. 어느 한 데이터 슬라이스의 행에서 값이 누락되었다고 해서, 다른 슬라이스에서 같은 행이 무효해지는 것은 아닙니다. 데이터 레이크는 이렇게 데이터 분석의 선택지를 열어 두지만, 그만큼 고유한 복잡성과 비용이 따른다는 점을 기억해야 합니다.
이 모든 과정을 마치면 드디어 데이터 분석 도구, BI 시스템, ML 모델이 본격적으로 작동할 준비가 된 것입니다. 그리고 데이터 레이크를 활용했기 때문에, 우리는 데이터 속에 숨어 있던 미래의 가치를 실수로 파괴하지 않았습니다. 미래를 미리 알지 못해도, 앞으로 제기될 비즈니스 질문들을 자유롭게 탐구할 수 있습니다.
요약
데이터 웨어하우스가 필터링되고 준비를 마친 '즉시 마실 수 있는 물'이라면, 데이터 레이크는 저수지입니다. 원형 그대로 소비하기 위한 것이 아니라, 사용 전에 반드시 정제 과정을 거쳐야 합니다. 그리고 어떤 저수지든 미래의 소비를 위해 잘 관리되어야 하듯, 데이터 레이크 역시 마찬가지입니다. 유입 관리(스토리지 파일 형식과 데이터 난독화), 내용 파악(인덱싱과 중복 제거), 오남용 방지(ID 및 접근 관리), 그리고 정수 시설(데이터 추출, 스키마 적용, 데이터 클렌징)을 통해 관리됩니다.
빙산의 일각
다행히 클라우드 시대에는 데이터 레이크 구축을 위해 모든 도구와 기술을 직접 만들 필요가 없습니다. 예를 들어 AWS Lake Formation은 데이터 레이크 자체와 직접 관련된 도구·기술 문제를 해결해 줍니다. 하지만 여전히 풀어야 할 어려운 질문들이 많이 남아 있습니다. 이 도구들을 제대로 활용할 줄 아십니까? 데이터를 유입시킬 네트워크 연결을 올바르게 구성할 전문성이 있습니까? VPN으로 충분한가요, 아니면 전용 회선(Direct Connect)이 필요한가요? 회사 데이터라는 금광을 클라우드에 올리는 것입니다. 무단 접근을 차단할 수 있도록 보안을 확실히 확보했습니까? 비용 효율적으로 데이터에 접근하고 있습니까? 데이터를 외부로 내보내는 것은 공짜가 아니라는 점도 잊지 마세요.
Rackspace에는 데이터 레이크를 빠르고 안전하게, 효율적으로 구축·가동할 수 있도록 돕는 클라우드 아키텍트와 전문 지식이 있습니다. 자세한 내용은 Rackspace Managed AWS 페이지를 방문하거나 문의해 주시기 바랍니다.