많은 사람들이 빅데이터를 3개, 4개, 혹은 10개의 'V'로 정의합니다. 그렇다면 이러한 V들은 정말 빅데이터 개념을 정의해주는 것일까요, 아니면 다른 무언가를 말하려는 것일까요? V 기반으로 빅데이터를 설명하는 가장 큰 이유는 빅데이터에 내재된 도전 과제를 부각시키기 위함입니다. 수집, 정제(Cleansing), 큐레이션, 통합, 저장, 처리 등 수많은 난제들이 여기에 포함됩니다.
즉, 이 V들은 빅데이터를 관리하기 시작할 때 마주할 수 있는 잠재적 문제들에 대비하도록 방향을 제시해주는 지침이라고 할 수 있습니다.
빅데이터는 다음과 같은 특성을 보입니다:
- 거대한 규모(Volume)로 증가한다
- 빠른 속도(Velocity)로 성장한다
- 다양한 형태(Variety)를 생성한다
- 변동성(Variability)을 수반하며 변화한다
- 진정성(Veracity)을 유지하는 프로세스가 필요하다
- 변환 과정에서 시각화(Visualization)를 요구한다
- 숨겨진 가치(Value)를 지니고 있다
이러한 V들은 조직이 결코 무시할 수 없는 빅데이터의 핵심 속성과 전략을 설명해줍니다. 지금부터 빅데이터의 각 속성에 기여하는 V들을 하나씩 살펴보겠습니다.
1. Volume(규모)
페이스북에는 하루에 100테라바이트의 데이터가 업로드되고, 아카마이(Akamai)는 온라인 광고 타겟팅을 위해 하루 7,500만 건의 이벤트를 분석하며, 월마트(Walmart)는 매시간 100만 건의 고객 거래를 처리합니다. 그리고 역사상 생성된 모든 데이터의 90%는 지난 2년 동안 만들어졌습니다.
위의 수치들이 바로 '거대한 데이터 볼륨'이 의미하는 바를 보여줍니다. 데이터를 '빅'데이터로 만드는 첫 번째 특징이 바로 이 규모이며, 이 방대한 양의 데이터를 저장해야 한다는 과제를 우리에게 안깁니다.
2. Velocity(속도)
매 분마다 유튜브에는 100시간 분량의 영상이 업로드되고, 2억 통 이상의 이메일이 발송되며, 30만 건의 트윗이 전송됩니다.
이러한 볼륨 숫자 뒤에는 더 큰 트렌드가 숨어 있습니다. 기존 데이터의 90%가 불과 최근 2년간 생성되었다는 사실입니다. 이는 데이터가 생성·저장·분석·시각화되는 속도, 즉 벨로시티(Velocity)를 보여주는 대표적인 예입니다.
조직이 직면한 과제는 데이터가 실시간으로 생성되고 활용되는 엄청난 속도에 대응하는 것입니다.
3. Variety(다양성)
과거에 생성되던 데이터는 행과 열에 깔끔하게 들어맞는 구조화된 데이터였지만, 그런 시대는 끝났습니다. 오늘날 생성되는 데이터의 90%는 비정형(unstructured) 데이터로, 위치 정보(지리 공간) 데이터부터 내용과 감성을 분석할 수 있는 트윗, 사진·영상 같은 시각 데이터까지 모든 형태와 모습으로 쏟아져 들어옵니다.
다양성은 빅데이터의 가장 큰 도전 과제 중 하나를 설명합니다. XML부터 영상, SMS에 이르기까지 매우 다양한 유형의 비정형 데이터가 포함될 수 있습니다. 특히 데이터 자체가 빠르게 변화하는 상황에서 이를 의미 있게 정리하고 체계화하는 일은 결코 쉬운 작업이 아닙니다.
4. Variability(변동성)
변동성은 흔히 다양성(Variety)과 혼동됩니다. 두 개념을 구분하는 간단한 예를 들어보겠습니다. 스타벅스에 콜드 커피의 종류가 워낙 많다면, 그것은 다양성입니다. 반면 매일 카페 모카를 사는데 맛과 향이 매번 조금씩 다르다면, 그것은 변동성입니다.
빅데이터 맥락에서 변동성은 몇 가지 의미를 지닙니다. 첫째는 데이터 내부의 비일관성(inconsistency)의 정도로, 의미 있는 분석을 수행하려면 이상 탐지(anomaly detection)와 특이치(outlier) 분석 방법으로 이를 찾아내야 합니다. 또한 빅데이터는 서로 다른 여러 데이터 유형과 소스에서 파생되는 수많은 데이터 차원 때문에 변동적입니다. 변동성은 데이터가 데이터베이스에 적재되는 속도가 일정하지 않다는 의미로도 사용됩니다.
5. Veracity(진정성)
빅데이터를 이해하는 데 핵심적인 것은 데이터가 지저분하고 노이즈가 많다는 점, 그리고 분석을 시작하기도 전에 정확한 데이터셋을 만드는 데 상당한 노력이 투입된다는 사실입니다. 분석 대상 데이터가 부정확하거나 불완전하다면 그 결과는 아무 소용이 없습니다.
이런 문제는 다양한 소스에서 서로 다른 형식과 신호 대 잡음비(signal-to-noise ratio)로 데이터 스트림이 유입될 때 발생합니다. 빅데이터 분석 단계에 도달할 때쯤이면 누적된 오류로 가득 차 있을 수 있습니다.
진정성(Veracity)이란 데이터의 정확성을 보장하는 것을 말하며, 잘못된 데이터가 시스템에 축적되지 않도록 하는 프로세스가 필요합니다. 가장 단순한 예가 마케팅 자동화 시스템에 허위 이름과 부정확한 연락처 정보로 입력되는 연락처입니다. 데이터베이스에서 '미키 마우스'라는 이름을 몇 번이나 본 적이 있으신가요? 이것이 바로 전형적인 '쓰레기가 들어가면 쓰레기가 나온다(Garbage In, Garbage Out)'의 문제입니다.
6. Visualization(시각화)
이것이 빅데이터의 가장 어려운 부분으로, 여기서 실패하면 방대한 데이터는 무용지물이 됩니다. 모든 빅데이터 처리 시스템의 핵심 과제는 그 거대한 규모를 쉽게 이해하고 실행 가능한 형태로 변환하는 것입니다. 사람이 소비하기에 가장 좋은 방법 중 하나는 데이터를 그래픽 형식으로 바꾸는 것입니다.
현재의 빅데이터 시각화 도구는 인메모리(in-memory) 기술의 한계와 확장성·기능·응답 속도의 부족으로 인해 기술적인 어려움에 직면해 있습니다. 수십억 개의 데이터 포인트를 그리기에는 전통적인 그래프로는 역부족이므로, 데이터 클러스터링이나 트리맵(tree map), 선버스트(sunburst), 평행 좌표(parallel coordinates), 원형 네트워크 다이어그램, 콘 트리(cone tree) 같은 새로운 표현 방식이 필요합니다.
7. Value(가치)
가치야말로 최종 목표입니다. 빅데이터의 잠재적 가치는 어마어마합니다. 볼륨, 속도, 다양성, 변동성, 진정성, 시각화를 모두 처리하는 데 많은 시간과 노력이 드는 만큼, 조직이 그 데이터로부터 실질적인 가치를 얻고 있는지 확인하는 것이 중요합니다.
물론 데이터 자체에는 전혀 가치가 없습니다. 진짜 가치는 그 데이터 위에서 수행되는 분석에 있으며, 데이터를 정보로 전환하고 나아가 지식으로 만드는 과정 속에서 탄생합니다.
앞서 살펴본 7가지 V는 빅데이터의 세 가지 중요한 측면, 즉 정의·특징·도전 과제를 알려줍니다. 하지만 연구자들이 이 7가지 V의 문제를 해결할 방법을 찾던 중 추가적인 V들을 발견하게 되었습니다. 빅데이터에서 결정적인 역할을 하지는 않지만, 특징과 도전 과제의 목록을 완성해주는 요소들입니다.
8. Validity(유효성)
진정성(Veracity)과 유사하게 유효성(Validity)은 데이터가 의도된 용도에 맞게 얼마나 정확하고 올바른지를 의미합니다. 빅데이터의 진정성이란 곧 유효성의 문제, 즉 데이터가 의도한 용도에 맞게 올바르고 정확하다는 뜻입니다. 명백히 유효한 데이터야말로 올바른 의사결정의 열쇠이며, 데이터 검증(data validation)은 데이터가 손상되지 않고 전송되었음을 인증하는 작업입니다.
9. Viability(실행 가능성)
다음 질문들을 한번 생각해 보세요:
- 하루 중 시간대나 요일은 구매 행동에 어떤 영향을 미치는가?
- 트위터나 페이스북에서 특정 언급 급증은 구매 증가 또는 감소를 예고하는가?
- 위치 정보, 제품 재고, 시간대, 구매 이력, 나이, 가족 구성원 수, 신용 한도, 차량 유형이 모두 결합하여 소비자의 구매 성향을 어떻게 예측하는가?
우리의 첫 번째 과제는 해당 데이터의 실행 가능성(viability)을 평가하는 것입니다. 효과적인 예측 모델을 구축할 때 고려해야 할 데이터와 변수의 종류가 너무 많기 때문에, 완전한 기능을 갖춘 모델을 만드는 데 투자하기 전에 특정 변수의 관련성을 빠르고 비용 효율적으로 테스트하고 확인해야 합니다. 즉, 더 나은 조치를 취하기 전에 가설을 검증해야 하며, 변수의 실행 가능성을 판단하는 과정에서 초기 가설에 없던 다른 변수들이 우리가 원하거나 관찰한 결과에 의미 있는 영향을 미치는지도 함께 살펴볼 수 있습니다.
10. Volatility(휘발성)
데이터가 더 이상 관련성이 없거나 역사적 기록이 되어 유용하지 않다고 간주되려면 얼마나 오래되어야 할까요? 데이터는 얼마나 오래 보관해야 할까요?
빅데이터의 휘발성을 논할 때 우리는 비즈니스에서 매일 시행하는 구조화 데이터의 보존 정책(retention policy)을 쉽게 떠올릴 수 있습니다. 보존 기간이 만료되면 손쉽게 파기할 수 있죠.
그러나 빅데이터는 그 방대한 속도와 규모 때문에 휘발성을 신중하게 고려해야 합니다. 이제는 데이터의 최신성(currency)과 가용성에 대한 규칙을 수립하고, 필요할 때 신속하게 정보를 검색할 수 있도록 보장해야 합니다.
11. Vulnerability(취약성)
2015년 애슐리 매디슨(Ashley Madison) 해킹 사건을 기억하십니까? 아니면 2016년 5월 CRN이 보도한 바에 따르면 '피스(Peace)'라는 해커가 다크웹에 판매용 데이터를 게시했는데, 여기에는 리크드인(LinkedIn) 계정 1억 6,700만 건과 마이스페이스(MySpace) 사용자의 이메일 및 비밀번호 3억 6,000만 건이 포함된 것으로 알려져 있습니다.
빅데이터는 새로운 보안 문제를 동반합니다. 특히 이러한 특성들 때문에 빅데이터를 위한 보안 프로그램을 개발하는 것이 하나의 도전 과제가 됩니다. 어차피 데이터 유출은 곧 대형 유출이기 때문입니다.
빅데이터의 본질과 시사점
그렇다면 이 모든 것이 빅데이터의 본질에 대해 무엇을 말해줄까요? 빅데이터는 방대하고 급격히 확장되지만, 동시에 노이즈가 많고 지저분하며 끊임없이 변화하고, 수백 가지 형식으로 존재하며, 분석과 시각화 없이는 사실상 가치가 없습니다.
볼륨, 속도, 다양성은 빅데이터의 핵심 매개변수일 뿐만 아니라 빅데이터라는 개념을 탄생시킨 원동력이며, 일반 데이터와 빅데이터를 구분 짓는 핵심 특징입니다. 이 세 가지는 빅데이터 자체에 내재되어 있고, 변동성·진정성·시각화·가치 같은 다른 V들은 빅데이터를 처리하고 분석하며 활용하려는 이들에게 빅데이터가 안겨주는 거대한 복잡성을 반영하는 중요한 속성들입니다.
의심할 여지 없이 빅데이터는 기업 IT가 적절한 컴퓨팅 인프라로 수용해야 하는 핵심 트렌드입니다. 하지만 고성능 분석 역량과 이 모든 것을 해석할 데이터 과학자가 없다면, 비즈니스 경쟁력으로 이어지는 가치를 만들지 못한 채 거대한 비용(Big Costs)만 양산하는 위험에 처하게 됩니다.