데이터 마이닝(Data Mining)이란?
데이터 마이닝은 저장소에 축적된 대량의 데이터를 체계적으로 분석하여, 패턴 인식 기술과 통계·수학적 기법을 바탕으로 의미 있는 새로운 상관관계, 패턴, 추세를 발견하는 과정입니다. 즉, 관찰된 데이터셋을 분석해 예상치 못한 관계를 찾아내고, 데이터 소유자가 이해하기 쉽고 실질적으로 유용한 형태로 데이터를 요약하는 작업이라 할 수 있습니다.
데이터 마이닝에는 분석 도구를 비롯한 다양한 소프트웨어 패키지가 활용됩니다. 프로세스를 자동화할 수도 있고, 개별 작업자가 아카이브나 데이터베이스에 특정 정보 조회 쿼리를 직접 전송하는 노동 집약적인 방식으로 진행될 수도 있습니다.
일반적으로 데이터 마이닝은 비교적 정교한 검색 연산을 통해 초점이 분명하고 확실한 결과를 반환하는 작업을 의미합니다. 예를 들어, 데이터 마이닝 도구는 수십 년 치의 회계 데이터를 훑어보며 특정 사업 연도의 특정 비용 항목이나 매출채권 열을 정확히 찾아낼 수 있습니다.
빅 데이터(Big Data)란?
빅 데이터는 구조화, 반구조화, 비구조화 형태를 모두 아우르며 테라바이트 단위에 달하는 방대한 규모의 데이터를 가리키는 포괄적인 용어입니다. 개인용 시스템 하나로 이렇게 막대한 데이터를 처리하는 것은 매우 복잡하기 때문에, 처리와 분석 과정에서 컴퓨터의 RAM이 중간 계산 결과를 임시로 저장하게 됩니다. 그러나 단일 시스템에서 이처럼 거대한 데이터를 처리하려면 많은 시간이 소요되고, 과부하로 인해 시스템이 정상적으로 작동하지 않는 문제도 발생할 수 있습니다.
빅 데이터 세트란 과거에 주로 사용되던 단순한 형태의 데이터베이스 및 데이터 처리 구조로는 감당할 수 없을 만큼 규모가 큰 데이터를 말합니다. 빅 데이터라는 개념이 일반화되기 전에는 대규모 데이터 처리 비용이 높고 현실성도 떨어졌습니다. 예컨대 Microsoft Excel 스프레드시트로는 도저히 다룰 수 없을 만큼 방대한 데이터 세트를 빅 데이터로 정의할 수 있습니다.
데이터 마이닝 vs 빅 데이터 비교
그럼 지금부터 데이터 마이닝과 빅 데이터를 항목별로 비교해 보겠습니다.
| 구분 | 데이터 마이닝 | 빅 데이터 |
|---|---|---|
| 정의 | 저장소에 축적된 대량의 데이터를 패턴 인식 기술과 통계·수학적 기법으로 분석해 의미 있는 새로운 상관관계, 패턴, 추세를 발견하는 과정이다. | 전통적인 방법과 도구로는 찾아낼 수 없는 숨겨진 데이터나 인사이트를 포함할 수 있는, 매우 방대한 데이터 세트의 수집과 후속 분석을 아우르는 포괄적 용어다. 전통적인 컴퓨팅 시스템이 처리·분석하기에는 데이터 양이 너무 많다. |
| 목적 | 대규모 데이터 저장소 속에서 패턴, 이상 징후, 상관관계를 찾아내는 것이다. | 다양하고 복잡하며 대규모인 데이터 세트로부터 인사이트를 도출하는 것이다. |
| 활용 사례 | 금융 서비스, 항공사와 화물 운송 회사, 헬스케어 분야, 통신·유틸리티, 미디어·엔터테인먼트, 전자상거래, 교육, IoT 등이 있다. | 전 세계 머신러닝과 인공지능(AI) 애플리케이션의 기반이 된다. |
마무리
데이터 마이닝과 빅 데이터는 서로 대립하는 개념이 아니라 상호 보완적인 관계입니다. 빅 데이터가 방대한 데이터를 저장하고 관리하는 기반을 제공한다면, 데이터 마이닝은 그 안에서 가치 있는 패턴과 인사이트를 추출하는 분석 기법입니다. 두 개념을 함께 이해하면 데이터 기반 의사결정의 전체 그림을 한층 명확하게 그릴 수 있습니다.