현대 사회는 매일 쏟아져 나오는 방대한 데이터로 인해 하나의 거대한 데이터 공간으로 빠르게 변모하고 있습니다. 한 연구에 따르면, 사용자들은 하루에만 5,500만 장의 사진을 업로드하고, 3억 4천만 건의 트윗을 남기며, 10억 개의 문서를 생성합니다. 이를 모두 합치면 무려 2.5퀸틸리언 바이트에 달하는 데이터가 만들어지는 셈입니다.
그렇다면 기존의 전통적인 데이터 처리 애플리케이션으로는 감당하기 어려운 이 방대한 데이터를 어떻게 관리해야 할까요? 끊임없이 가속화되는 데이터 생성은 새로운 기술의 등장을 이끌었고, 그것이 바로 빅 데이터(Big Data)입니다. 빅 데이터란 대량의 데이터를 저장하고, 관리하며, 공유할 수 있도록 지원하는 비교적 최신의 기술을 의미합니다. 2000년대 초반부터 본격적으로 주목받기 시작한 빅 데이터는 오늘날 그 중요성이 더욱 커지고 있습니다. 빅 데이터를 처음 접하는 분들을 위해 핵심 개념인 세 가지 V, 즉 Volume(규모), Velocity(속도), Variety(다양성)를 살펴보겠습니다.
빅 데이터의 핵심, 3V
- Volume(규모): 데이터는 비즈니스 거래, 소셜 미디어, 기계 간 통신(M2M) 데이터 등 다양한 소스에서 수집됩니다. 이렇게 모인 데이터는 방대한 규모의 집합체가 되며, 이를 관리하기 위해 하둡(Hadoop)과 같은 신기술이 활용됩니다. 하둡은 분산 컴퓨팅 환경에서 대규모 데이터 세트를 처리할 수 있는 오픈소스 소프트웨어로, 짧은 시간 안에 수많은 데이터를 원활하게 저장하고 관리할 수 있도록 돕습니다.
- Velocity(속도): 속도란 데이터가 수신·수집되고 처리되는 빈도와 속도를 의미합니다. Search Cloud Computing은 "모든 빅 데이터 분석 프로젝트는 데이터 소스를 수집하고 상호 연관시킨 뒤 분석하여, 전체적인 질의에 기반한 답변이나 결과를 도출한다. 따라서 분석가는 가용한 데이터에 대한 깊이 있는 이해와 함께 자신이 찾고자 하는 답에 대한 감각을 갖추어야 한다"고 설명합니다. 결국 실시간 및 준실시간 데이터 분석을 통해 적절한 데이터 스트리밍을 구현하는 것이 핵심입니다.
- Variety(다양성): 데이터는 일반적으로 구조화 데이터와 비구조화 데이터라는 다양한 형태로 존재합니다. 구조화 데이터에는 기존 데이터베이스의 숫자형 데이터가, 비구조화 데이터에는 문서, 이메일, 오디오, 비디오, 금융 거래, 주식 시세 데이터 등이 해당됩니다. 구조화 데이터는 별도의 사전 작업 없이도 처리할 수 있지만, 비구조화 데이터는 체계적인 구조화 과정을 거쳐야만 처리가 가능합니다.
위의 3V가 빅 데이터의 전통적인 정의를 이루지만, 최근 연구에서는 여기에 더 많은 V 요소들이 추가되었습니다.
- Veracity(진실성): 데이터의 진실성이란 데이터가 얼마나 의미 있는지를 말합니다. 다시 말해 데이터에 포함된 편향, 노이즈, 이상치를 의미하기도 합니다. 폭발적으로 증가하는 데이터 값 중 모든 것이 유의미하지 않기 때문에, 수집과 분석 단계에서 데이터를 필터링해야 합니다. 이를 위해서는 역량을 갖춘 전문 팀과 파트너가 필요하며, 가치 있는 정보만 선별하여 처리하고 불필요한 정보는 걸러내는 것이 중요합니다.
- Validity(유효성): 유효성은 빅 데이터의 또 다른 중요한 측면입니다. 진실성과 마찬가지로 유효성 역시 핵심적인 역할을 하며, 의도된 용도에 맞게 데이터가 올바르고 정확한지를 나타냅니다. 필터링을 거친 데이터는 이후 분석 및 처리 단계로 넘어갑니다.
- Volatility(변동성): 빅 데이터의 변동성은 시간의 흐름과 활용도 측면에서 데이터가 얼마나 유효한지를 의미합니다. 데이터가 얼마 동안 유효한지, 얼마나 오래 저장해야 하는지 등이 이 범주에 포함됩니다.
- Variability(가변성): 가변성은 의미가 끊임없이 변하는 데이터를 가리킵니다. 주로 특정 시점에 나타나는 데이터, 예컨대 소셜 미디어의 트렌드나 특정 기간과 관련된 정보에서 자주 발생합니다. 이런 유형의 데이터는 중요도를 기준으로 분석 및 처리됩니다.
시간의 흐름에 따른 빅 데이터의 변화와 영향
끊임없이 증가하는 데이터 수집량으로 인해 조직들이 빅 데이터 기술을 도입하는 것은 이제 선택이 아닌 필수가 되었습니다. 현재 빅 데이터는 여러 분야에서 뚜렷한 변화를 만들어내고 있으며, 우리는 이를 흔히 '기술의 시대'라고 부르기도 합니다.
- 소셜 네트워크·소셜 미디어: 다양한 매체를 통한 소셜 네트워킹은 오늘날 완전히 주류가 된 현상입니다. 수십억 명의 사람들이 소셜 미디어를 통해 전 세계 사람들과 연결되고, 비즈니스 홍보와 광고, 정보 교류 등을 수행하고 있습니다. 그 결과 소셜 미디어와 그 네트워크를 통해 막대한 데이터가 생성되며, 이것이 곧 빅 데이터의 구체적인 모습이라 할 수 있습니다.
- 공공·오픈 데이터: 과거와 달리, 이제는 수많은 민간 및 공공 기관이 사용자가 열람하거나 활용할 수 있도록 방대한 데이터를 공개하고 있습니다. 이러한 정보에는 지역 및 국가 단위 데이터, 경제 활동 관련 데이터, 공공 서비스 정보, 인구통계학적·환경적 현상에 관한 자료, 교통 및 이동 정보 등이 포함됩니다.
- 사물 인터넷(IoT): 오늘날 모든 제품과 사물은 전자 기기의 소형화와 보편적·이동성·'유비쿼터스' 연결 능력을 갖추어 디지털 방식으로 제어 가능해졌습니다. 자동차를 비롯한 각종 가정용 제품이 인터넷과 기술을 중심으로 작동하는 것이 대표적입니다. Ingenium Magazine은 "우리 환경의 모든 부분은 산사태, 기후 변화 같은 자연 현상과 교통, 도시 내 인구 이동, 안전 수준, 지역사회 모니터링 같은 행동·사회 현상에 관한 데이터와 정보를 수집하도록 '강화'될 수 있다. 오늘날 세계의 모든 영역은 디지털화될 수 있으며, 그렇게 됨으로써 사실상 무한한 데이터와 정보의 원천이 된다"고 강조합니다.
- 인터넷, 웹, 전자상거래 및 앱: 오늘날 생성되는 정보는 대부분 인터넷·웹 또는 급성장하는 앱을 통해 제공됩니다. 빅 데이터를 구성하는 중요한 축인 만큼, 인터넷과 웹, 전자상거래, 앱은 결코 간과할 수 없는 영역이며, 사용자들이 데이터를 활용할 때 가장 많이 의존하는 통로이기도 합니다.
빅 데이터가 산업에 미친 영향
빅 데이터가 판도를 바꾸면서 여러 산업은 큰 변화를 겪었습니다. 산업별로 살펴본 주요 영향은 다음과 같습니다.
- 마케팅 분야: 마케팅 측면에서 빅 데이터는 소비자 참여도를 높이고, 고객 유지와 충성도를 강화하며, 마케팅 전략의 최적 성과를 이끌어내는 데 크게 기여합니다. 빅 데이터가 마케팅 환경을 완전히 뒤바꾸었다고 해도 과언이 아닙니다.
- 비즈니스 분야: Matisia Consultants의 CEO이자 창업자인 크리스티나 로스(Kristina Roth)는 "빅 데이터를 활용하면 개선 프로젝트마다 교훈을 얻고 이를 다음 프로젝트에 반영함으로써, 더 빠르고 더 좋으며 더 낮은 비용으로 발전할 수 있다"고 말합니다. 아울러 빅 데이터는 조직의 데이터 보안 유지에도 도움을 주었습니다. 한 조사 결과는 다음과 같은 사실을 밝혀냈습니다.
- IT 기업의 64%가 빅 데이터에 적극적으로 투자하고 있습니다.
- 응답자의 69%가 빅 데이터가 핵심적이며 최우선 과제라고 확인했습니다.
- CIO의 75%가 빅 데이터가 생산성과 전반적 효율성에 긍정적인 영향을 미쳤다고 밝혔습니다.
- 참여자의 70%가 빅 데이터 투자 덕분에 비즈니스에 긍정적인 변화가 있었다고 응답했습니다.
- 사회 전반: 무엇보다 빅 데이터는 일상생활과 사회 전반에도 큰 영향을 미치고 있습니다. 예를 들어 인텔리전트 기술로 주행하는 자율주행차처럼, 지능형 기술이 삶을 더 편리하게 만드는 신기술을 이미 주변에서 쉽게 관찰할 수 있습니다. 머지않아 문제는 발생하기도 전에 해결될 것이며, 지능형 앱과 기기가 기존 제품을 대체할 것으로 전망됩니다.
이 외에도 빅 데이터는 의료, 소셜 미디어 마케팅, 광고, 경제의 여러 측면에 지대한 영향을 끼치고 있습니다.
함께 읽으면 좋은 글: 빅 데이터용 상용 데이터 추출 도구 13선
빅 데이터의 미래 전망
지금까지 살펴본 바와 같이, 앞으로 더 많은 기업이 빅 데이터를 도입할 것입니다. 연구자들은 빅 데이터의 미래에 대해 다양한 전망을 내놓았는데, 대표적인 내용은 다음과 같습니다.
- 운영 중심에서 분석 중심으로: 기존 기술이 데이터 스트리밍 운영에 도움을 주었다면, 다가올 기술은 데이터가 수집되는 각 영역에서의 분석에 더욱 집중할 것입니다. 다시 말해 실시간 스트리밍 분석이 빅 데이터의 미래 핵심으로 자리 잡게 됩니다.
- 프라이버시가 최대 과제로: 데이터 증가가 멈추지 않는 한, 프라이버시는 이 성장하는 기술의 큰 도전 과제가 될 것입니다. 특히 사용자 정보가 필수적인 은행권, 소셜 미디어 등의 산업에서 이슈가 두드러질 전망입니다.
- 비즈니스 혜택의 확대: 앞서 언급했듯 기업들은 이미 빅 데이터의 혜택을 누리고 있으며, 이는 미래에 더욱 커질 것입니다. 향상된 최적화와 생산성이 핵심 혜택이 될 것이며, 구체적으로 기업들은 약 4,300억 달러의 생산성 혜택을 기대할 수 있습니다.
지금 주목해야 할 대형 기술이 있다면 그 어떤 것보다 빅 데이터일 것입니다. 계속해서 생성되는 막대한 데이터를 수용할 준비를 마친 빅 데이터는 시간이 지날수록 더욱 발전하며, 세상을 더 나은 방향으로 혁신할 것입니다.