텍스트 마이닝(Text Mining)이란?
텍스트 마이닝은 텍스트 분석이라고도 불리며, 비정형(unstructured) 텍스트를 구조화된 데이터로 변환해 손쉽게 분석할 수 있도록 만드는 과정입니다. 텍스트 마이닝에는 자연어 처리(NLP) 기술이 필수적입니다. 자연어 처리는 컴퓨터가 인간의 언어를 학습하고 이를 자동으로 처리할 수 있게 해주는 핵심 기술이기 때문입니다.
텍스트 마이닝은 일반 언어로 작성된 텍스트에서 핵심 데이터를 추출하는 과정으로 정의할 수 있습니다. 우리가 문자 메시지, 문서, 이메일, 각종 파일을 통해 생성하는 대부분의 데이터는 일상 언어로 작성되어 있으며, 텍스트 마이닝은 이러한 데이터로부터 유용한 인사이트와 패턴을 도출하는 데 널리 활용됩니다.
즉, 텍스트 마이닝은 자연어 처리를 활용해 비정형 텍스트에서 가치 있는 통찰을 자동으로 끌어내는 절차입니다. 데이터를 컴퓨터가 학습 가능한 정보 형태로 변환함으로써, 감성(sentiment), 주제(topic), 의도(intent)에 따른 텍스트 분류 작업까지 자동화할 수 있습니다.
텍스트 마이닝 프로세스의 6단계
텍스트 마이닝은 파일로부터 데이터를 추출하기 위해 다음과 같은 단계를 거칩니다.
1. 문서 수집 (Document Gathering)
첫 번째 단계에서는 다양한 형식으로 존재하는 텍스트 문서를 수집합니다. 문서는 PDF, 워드(DOCX), HTML, CSS 등 여러 형태일 수 있으며, 분석 대상이 되는 원천 데이터를 확보하는 중요한 출발점입니다.
2. 문서 전처리 (Document Pre-Processing)
이 단계에서는 입력 문서에서 중복, 불일치, 불필요한 단어 등을 제거하고 어간 추출을 수행하여 다음 단계를 위한 준비를 합니다. 전처리 과정은 아래 세 가지 세부 단계로 구성됩니다.
- 토큰화(Tokenization) – 주어진 문서를 하나의 문자열로 취급한 뒤, 문서 내 개별 단어를 식별합니다. 즉, 문서 문자열을 최소 단위인 토큰(token)으로 분할하는 과정입니다.
- 불용어 제거(Removal of Stop Words) – 'a', 'an', 'but', 'and', 'of', 'the'처럼 분석에 큰 의미가 없는 상용 단어(불용어)를 제거하여 데이터의 노이즈를 줄입니다.
- 어간 추출(Stemming) – 어간(stem)은 유사한 의미를 지닌 단어들의 공통 기저 형태를 의미합니다. 어간 추출에는 굴절형(inflectional)과 파생형(derivational) 두 가지 방식이 있으며, 그중 포터(Porter) 알고리즘이 가장 널리 알려져 있습니다. 예를 들어 문서에 'resignation', 'resigned', 'resigns'라는 단어가 포함되어 있다면, 어간 추출 후 모두 'resign'으로 통일되어 처리됩니다.
3. 텍스트 변환 (Text Transformation)
텍스트 문서는 단어(특징)와 그 출현 빈도의 집합으로 볼 수 있습니다. 이러한 문서를 컴퓨터가 다룰 수 있도록 표현하는 대표적인 방법에는 벡터 공간 모델(Vector Space Model)과 단어 가방(Bag of Words) 두 가지가 있습니다.
4. 특징 선택 (Feature Selection)
특징 선택(속성 선택)은 입력 문서에서 분석에 불필요한 특징을 제거하는 방법입니다. 이를 통해 데이터베이스 저장 공간을 절약하고 검색 및 연산 과정을 최소화할 수 있어 전체 시스템의 효율이 크게 향상됩니다.
5. 데이터 마이닝 / 패턴 선택 (Data Mining / Pattern Selection)
이 단계에서는 기존의 데이터 마이닝 프로세스가 텍스트 마이닝 프로세스와 결합됩니다. 앞선 단계에서 도출된 결과물은 구조화된 데이터베이스 형태로 정리되므로, 클래식한 데이터 마이닝 기법을 그대로 적용해 숨겨진 패턴을 발견할 수 있습니다.
6. 평가 (Evaluation)
마지막 단계에서는 분석 결과를 평가합니다. 도출된 결과는 그대로 활용하거나, 후속 분석 및 다음 일련의 프로세스에 대한 입력값으로 사용될 수 있습니다.
마무리
텍스트 마이닝은 문서 수집부터 전처리, 변환, 특징 선택, 패턴 분석, 평가까지 체계적인 단계를 거치는 자동화된 분석 기술입니다. 방대한 비정형 텍스트 데이터 속에서 의미 있는 정보를 찾아내야 하는 현대 비즈니스 환경에서, 텍스트 마이닝 프로세스를 올바르게 이해하고 활용하는 것은 데이터 기반 의사결정의 핵심 경쟁력이 됩니다.