빅데이터란 무엇인가?
'빅데이터(Big Data)'란 방대한 규모의 데이터 세트를 처리하기 위해 특수한 기법과 기술을 적용하는 것을 의미합니다. 이러한 데이터 세트는 그 규모와 복잡성이 워낙 크기 때문에 기존의 데이터베이스 관리 도구만으로는 처리하기 어려운 경우가 많습니다.
정보기술(IT)의 급격한 성장은 업계 전반에 여러 파급 효과를 가져왔습니다. 그중에서도 가장 지속적이고 두드러진 결과물이 바로 빅데이터입니다. '빅데이터'라는 용어는 막대한 양의 데이터가 끊임없이 쏟아져 나오는 현상을 설명하기 위해 만들어진 표현으로, 이렇게 축적된 방대한 데이터를 실질적으로 활용하는 결과물이 곧 데이터 분석(Data Analytics)입니다.
데이터 분석의 역할
데이터 분석은 빅데이터를 구조화하는 과정입니다. 빅데이터 속에는 다양한 패턴과 상관관계가 숨겨져 있으며, 이를 분석하면 데이터를 더욱 정교하게 특성화하고 해석할 수 있습니다. 그렇기 때문에 데이터 분석은 오늘날 정보기술 분야에서 가장 중요한 영역 중 하나로 자리 잡았습니다.
이 글에서는 대표적인 빅데이터 분석 기법 26가지 중 첫 번째 시리즈로 13가지를 소개합니다. 물론 이 목록이 빅데이터 분석 기법의 전부는 아닙니다.
1. A/B 테스트(A/B Testing)
A/B 테스트는 웹페이지나 앱의 어떤 버전이 비즈니스 목표 달성에 더 효과적인지 판단하는 평가 도구입니다. 두 버전의 성과를 비교하여 더 나은 쪽을 선택하는 방식으로 진행됩니다. 웹 개발 분야에서 널리 활용되며, 웹페이지나 페이지 요소에 대한 변경이 개인적인 의견이 아닌 데이터에 기반해 이루어지도록 보장하는 역할을 합니다.
A/B 테스트는 스플릿 테스트(Split Testing) 또는 버킷 테스트(Bucket Testing)라고도 불립니다.
2. 연관 규칙 학습(Association Rule Learning)
연관 규칙 학습은 대규모 데이터베이스 내 변수들 사이의 흥미로운 관계, 즉 '연관 규칙'을 발견하기 위한 기법 모음입니다. 다양한 알고리즘을 통해 후보 규칙을 생성하고 검증하는 방식으로 작동합니다.
대표적인 응용 사례로는 장바구니 분석(Market Basket Analysis)이 있습니다. 예컨대 리테일러는 어떤 상품들이 함께 자주 구매되는지 파악하여 마케팅에 활용할 수 있습니다. 흔히 인용되는 예로, 나초를 구매하는 슈퍼마켓 고객이 맥주도 함께 구매하는 경향이 있다는 발견이 있습니다.
3. 분류 트리 분석(Classification Tree Analysis)
통계적 분류(Statistical Classification)는 새로운 관측값이 어느 범주에 속하는지 식별하는 방법입니다. 이를 위해서는 올바르게 분류된 관측값, 즉 과거 이력 데이터로 구성된 학습 데이터셋(training set)이 필요합니다.
통계적 분류는 다음과 같은 용도로 활용됩니다.
- 문서를 카테고리에 자동으로 배분
- 생물을 집단별로 분류
- 온라인 강좌를 수강하는 학생들의 프로파일 개발
4. 클러스터 분석(Cluster Analysis)
클러스터 분석은 다양한 객체들로 이루어진 집단을, 사전에 알려지지 않은 유사성 특성을 기준으로 더 작은 유사 객체 그룹으로 나누는 통계 기법입니다. 대표적인 예로는 타깃 마케팅을 위해 성향이 비슷한 소비자들을 그룹으로 세분화하는 것이 있습니다. 데이터 마이닝에서 폭넓게 활용됩니다.
5. 크라우드소싱(Crowdsourcing)
크라우드소싱은 작업을 특정 전문가나 조직에 맡기는 것이 아니라, 공개 모집(open call)의 형태로 일반 대중에게 위임하는 방식입니다. 문자 메시지, 소셜 미디어 게시물, 블로그 등 다양한 소스로부터 데이터를 수집하는 데 활용할 수 있는 기법으로, 일종의 대규모 협업이자 웹을 활용한 대표적인 사례입니다.
6. 데이터 융합 및 통합(Data Fusion & Data Integration)
데이터 융합은 단일 또는 복수의 소스에서 얻은 데이터와 정보를 연관 짓고, 상관 분석하고, 결합함으로써 정밀한 위치 파악, 식별 추정, 그리고 상황·위협과 그 중요성에 대한 완전하고 시의적절한 평가를 수행하는 다층적 프로세스입니다.
데이터 융합 기법은 여러 센서의 데이터와 관련 데이터베이스의 정보를 결합하여, 단일 센서만 사용했을 때보다 향상된 정확도와 더 구체적인 추론을 가능하게 합니다.
7. 데이터 마이닝(Data Mining)
데이터 마이닝은 방대한 데이터 속에서 패턴을 식별하고 관계를 도출하기 위해 데이터를 분류·탐색하는 작업입니다. 대량의 데이터에 대해 수행되는 다양한 데이터 추출 기법들을 통칭하는 개념이며, 주요 파라미터로는 연관성(Association), 시퀀스 분석(Sequence Analysis), 분류(Classification), 클러스터링(Clustering), 예측(Forecasting)이 있습니다.
응용 사례로는 제안에 반응할 가능성이 높은 고객 세그먼트를 찾기 위한 고객 데이터 마이닝, 가장 성공적인 직원의 특징을 파악하기 위한 인사(HR) 데이터 마이닝, 고객의 구매 행동을 모델링하기 위한 장바구니 분석 등이 있습니다.
8. 앙상블 학습(Ensemble Learning)
앙상블 학습은 서로 다른 여러 학습 알고리즘을 결합하여 모델의 안정성과 예측력을 한층 끌어올리는 기법입니다. 지도 학습(Supervised Learning)의 한 유형에 속합니다.
9. 유전 알고리즘(Genetic Algorithms)
유전 알고리즘은 자연 진화의 개념을 바탕으로, 유전적 조합(genetic combination)·돌연변이(mutation)·자연 선택(natural selection)과 같은 프로세스를 활용하는 최적화 기법입니다. 어떤 동영상, TV 프로그램, 기타 미디어 콘텐츠가 가장 많이 시청될 가능성이 높은지 식별하는 데 활용되며, 진화적 패턴 분석을 통해 동영상 및 미디어 분석에도 폭넓게 적용됩니다.
10. 머신러닝(Machine Learning)
머신러닝은 특정 데이터 세트를 분류하고 그 결과로 나타날 가능성 높은 결과를 도출하는 데 활용되는 기법입니다. 특정 사건의 발생 가능한 결과를 스스로 판단할 수 있는 소프트웨어를 구현하므로, 예측 분석(Predictive Analytics)에 널리 사용됩니다. 대표적인 예로 소송에서의 승소 확률 예측이나 특정 작품의 성공 가능성 분석 등이 있습니다.
11. 자연어 처리(Natural Language Processing, NLP)
자연어 처리는 컴퓨터 과학의 한 하위 분야(역사적으로 '인공지능'이라 불린 분야)와 언어학에서 파생된 기법들을 활용하여, 컴퓨터 알고리즘으로 인간(자연) 언어를 분석하는 기술입니다. NLP 기법 상당수는 머신러닝의 한 종류입니다. 대표적인 응용 사례로는 소셜 미디어 감성 분석(Sentiment Analysis)을 통해 브랜딩 캠페인에 대한 잠재 고객의 반응을 파악하는 것이 있습니다.
12. 신경망(Neural Networks)
신경망은 학습을 통해 훈련되며 생체 신경망과 구조가 유사한 비선형 예측 모델입니다. 패턴 인식과 최적화에 활용할 수 있으며, 지도 학습 방식과 비지도 학습 방식 모두에 적용 가능합니다. 응용 사례로는 이탈 위험에 처한 고가치 고객을 식별하거나, 보험 청구 중 사기성 청구를 탐지하는 것이 있습니다.
13. 최적화(Optimization)
최적화는 복잡한 시스템과 프로세스를 하나 이상의 목표 지표(예: 비용, 속도, 신뢰성)를 기준으로 성능이 향상되도록 재설계하기 위한 수치 기법들의 집합입니다. 스케줄링, 라우팅, 작업장 배치(floor layout)와 같은 운영 프로세스 개선은 물론, 제품 포트폴리오 전략, 연계 투자 분석, R&D 포트폴리오 전략과 같은 전략적 의사결정에도 활용됩니다. 앞서 소개한 유전 알고리즘이 바로 최적화 기법의 대표적인 예입니다.
마무리하며
지금까지 빅데이터 분석 기법 26가지 중 A/B 테스트부터 최적화까지 13가지를 살펴보았습니다. 다음 편에서는 나머지 13가지 빅데이터 분석 기법을 이어서 소개하겠습니다.