데이터 마이닝
데이터 마이닝은 통계적, 수학적 기법뿐만 아니라 패턴 인식 기술을 사용하여 리포지토리에 저장된 많은 양의 데이터를 선별하여 의미 있는 새로운 상관 관계, 패턴 및 추세를 발견하는 과정입니다. 데이터 소유자가 이해할 수 있고 유용한 새로운 방식으로 데이터를 요약합니다.
데이터 마이닝에는 분석 도구를 비롯한 여러 유형의 소프트웨어 패키지 사용이 포함될 수 있습니다. 자동화될 수도 있고 노동 집약적일 수도 있습니다. 개별 작업자가 아카이브나 데이터베이스에 정보에 대한 특정 쿼리를 보내는 방식입니다.
일반적으로 데이터 마이닝은 집중적이고 명확한 결과를 반환하는 비교적 정교한 검색 작업을 포함하는 작업을 정의합니다. 예를 들어, 데이터 마이닝 도구는 수십 년의 회계 데이터를 통해 특정 운영 연도에 대한 지출 또는 미수금의 명확한 열을 찾을 수 있습니다.
빅 데이터
빅 데이터는 테라바이트 단위로 정형, 반정형 및 비정형 데이터 세트가 가능한 방대한 양을 말합니다. 개별 시스템에서 많은 양의 데이터를 처리하는 것은 복잡하기 때문에 이 컴퓨터의 RAM은 처리 및 분석 중에 중간 계산을 저장합니다. 이렇게 방대한 양의 데이터를 처리하려고 하면 단일 시스템에서 이러한 처리 단계를 수행하는 데 많은 시간이 걸립니다. 또한 과부하로 인해 컴퓨터 시스템이 제대로 작동하지 않습니다.
빅 데이터 세트는 빅 데이터가 더 비싸고 실현 가능성이 낮았던 이전 시대에 사용되었던 단순한 유형의 데이터베이스 및 데이터 처리 구조를 능가하는 세트입니다. 예를 들어, Microsoft Excel 스프레드시트에서 단순히 처리하기에는 너무 높은 데이터 세트를 빅 데이터 세트로 정의할 수 있습니다.
데이터 마이닝과 빅 데이터의 비교를 살펴보겠습니다.
| 데이터 마이닝 | 빅 데이터 |
|---|---|
| 데이터 마이닝은 패턴 인식 기술과 통계 및 수학적 기법을 사용하여 저장소에 저장된 많은 양의 데이터를 선별하여 의미 있는 새로운 상관 관계, 패턴 및 추세를 발견하는 프로세스입니다. | 빅 데이터는 기존 방법 및 도구를 사용하여 찾을 수 없는 숨겨진 데이터 또는 통찰력을 포함할 수 있는 상당히 거대한 데이터 세트의 수집 및 후속 분석을 정의하는 포괄적인 용어입니다. 데이터의 양은 기존 컴퓨팅 시스템이 처리하고 분석하기에는 상당히 많습니다. |
| 목적은 대규모 데이터 저장소에서 패턴, 이상 및 상관 관계를 찾는 것입니다. | 목적은 다양하고 복잡하며 방대한 규모의 데이터 세트에서 통찰력을 발견하는 것입니다. |
| 사용 사례에는 금융 서비스, 항공사 및 트럭 운송 회사, 의료 부문, 통신 및 유틸리티, 미디어 및 엔터테인먼트, 전자 상거래, 교육, IoT 등이 포함됩니다. | 전 세계적으로 기계 학습 및 인공 지능 응용 프로그램의 기반 역할을 합니다. |