텍스트 마이닝이란 무엇인가?
텍스트 마이닝(Text Mining)은 '텍스트 분석(Text Analysis)'이라고도 불리며, 비정형(unstructured) 텍스트를 구조화된 데이터로 변환하여 손쉽게 분석할 수 있도록 만드는 과정입니다.
텍스트 마이닝은 자연어 처리(NLP, Natural Language Processing) 기술을 활용해 기계가 인간의 언어를 이해하고 자동으로 처리할 수 있도록 지원합니다. 감성(sentiment), 주제(topic), 의도(intent)를 기준으로 텍스트를 분류하는 작업을 자동화하며, 방대한 텍스트 속에서 숨겨진 가치 있는 인사이트를 추출해냅니다.
텍스트 마이닝의 8가지 핵심 기법
1. 정보 추출(Information Extraction)
정보 추출은 비정형 텍스트 분석의 첫 번째 단계입니다. 기계가 읽을 수 있는 비정형·반정형 문서에서 구조화된 데이터를 자동으로 뽑아내는 기능을 담당합니다.
2. 요약(Summarization)
요약은 방대한 양의 텍스트 문서에서 핵심 내용만 간추려내는 것을 목표로 합니다. 자동 요약(Automatic Summarization)은 컴퓨터 프로그램으로 원문 문서를 축약하되, 가장 중요한 포인트는 그대로 유지하는 요약본을 생성하는 절차입니다. 자동 데이터 요약은 머신러닝과 데이터 마이닝의 한 분야에 속합니다.
3. 토픽 트래킹(Topic Tracking)
토픽 트래킹은 사용자의 이전 검색 이력을 바탕으로 사용자 프로필을 구축하고, 그 프로필을 기준으로 다른 문서들을 효율적으로 예측·추천하는 구조입니다. 텍스트 마이닝은 비정형 텍스트 데이터에서 미처 알려지지 않았으면서 유용한 정보를 자동으로 추출하는 분야로, 자연어 처리와 깊은 연관이 있습니다. 토픽 트래킹은 이러한 텍스트 마이닝 과정에서 활용되는 대표적인 기술 중 하나입니다.
4. 분류(Classification)
분류는 메타데이터를 삽입하고 문서를 분석함으로써 파일의 핵심 주제를 찾아내는 과정입니다. 단어의 출현 빈도를 계산하고, 그 결과를 바탕으로 문서의 주제를 판단합니다. 이 과정에서 텍스트 문서는 사전에 정의된 클래스 라벨(predefined class label)에 따라 분류됩니다.
5. 범주화(Categorization)
텍스트 범주화는 자유 형식의 텍스트 문서에 사전 정의된 카테고리를 할당하는 작업입니다. 문서 집합에 대한 개념적 시각을 제공할 수 있으며, 실제 세계의 다양한 소프트웨어 분야에서 활용되고 있습니다.
6. 군집화(Clustering)
군집화는 가장 대표적인 비지도 학습(unsupervised learning) 문제로 볼 수 있습니다. 다른 유형의 문제들과 마찬가지로, 라벨이 없는 데이터 집합 안에서 숨겨진 구조를 발견하는 것이 목표입니다.
7. 개념 연결(Concept Linkage)
텍스트 마이닝은 개념 연결 기법을 활용해 서로 관련된 문서를 찾아냅니다. 이 메커니즘은 단순 검색이 아니라 문서를 탐색(browsing)하는 방식으로 동작하며, 연관된 문서들을 서로 연결해주는 기능을 제공합니다.
8. 자연어 처리(Natural Language Processing)
자연어란 곧 인간이 사용하는 언어를 의미하며, 이를 컴퓨터 언어로 처리하는 모든 상호작용을 자연어 처리(NLP)라고 부릅니다. NLP의 궁극적인 목표는 인간의 언어를 분석하고, 이해하고, 생성할 수 있는 컴퓨터 시스템을 설계하고 구축하는 것입니다.