텍스트 검색(Text Retrieval)이란 무엇인가?
텍스트 검색은 비정형 텍스트를 구조화된 형식으로 변환하여 의미 있는 패턴과 새로운 인사이트를 발견하는 과정입니다. 나이브 베이즈(Naïve Bayes), 서포트 벡터 머신(SVM)을 비롯한 다양한 딥러닝 알고리즘 같은 고급 분석 기법을 활용하면, 조직은 방대한 비정형 데이터 속에 숨겨진 관계를 탐색하고 발굴할 수 있습니다.
텍스트 검색 방식은 크게 두 가지로 나뉩니다. 바로 문서 선택(Document Selection)과 문서 랭킹(Document Ranking)입니다.
1. 문서 선택(Document Selection)
문서 선택 방식에서는 쿼리(query)가 관련 문서를 골라내기 위한 제약 조건으로 해석됩니다. 이 범주의 대표적인 접근법이 바로 불린 검색 모델(Boolean Retrieval Model)입니다. 이 모델에서는 문서를 일련의 키워드 집합으로 정의하고, 사용자는 '자동차 AND 정비소', '차 OR 커피', '데이터베이스 시스템 BUT NOT Oracle'처럼 키워드를 조합한 불린 표현식을 제공합니다.
검색 시스템은 이러한 불린 쿼리를 받아 해당 표현식을 만족하는 레코드를 반환합니다. 다만 사용자가 원하는 데이터를 불린 쿼리로 정확하게 규정하기란 매우 복잡한 작업이기 때문에, 불린 검색 기법은 문서 집합에 대해 깊이 이해하고 있어 최적의 쿼리를 직접 작성할 수 있는 전문가 수준의 사용자에게만 효과적으로 작동하는 경향이 있습니다.
2. 문서 랭킹(Document Ranking)
문서 랭킹 방식은 쿼리를 활용해 모든 레코드를 적합성(relevance) 순서대로 정렬합니다. 일반 사용자나 탐색적인 질의(exploratory query)에는 문서 선택 방식보다 훨씬 적합합니다. 실제로 오늘날 대부분의 정보 검색 시스템은 사용자의 키워드 쿼리에 대해 순위가 매겨진 문서 목록(ranked list)을 제공합니다.
랭킹 기법은 대수학, 논리학, 확률론, 통계학 등 폭넓은 수학적 기반 위에서 여러 방식으로 개발되었습니다. 그러나 이 모든 기법의 공통적인 직관은 동일합니다. 즉, 쿼리 내 키워드와 레코드 내 키워드를 연결하고, 각 레코드가 쿼리와 얼마나 잘 일치하는지에 따라 점수를 부여하는 것입니다.
관련성 점수 산출의 어려움
랭킹의 궁극적인 목표는 문서 내 단어 빈도와 전체 문서 집합의 통계 정보를 바탕으로 계산된 점수를 통해 레코드의 관련성 정도를 근사하는 것입니다. 하지만 키워드 집합 간의 관련성을 정밀하게 측정하는 것은 본질적으로 어려운 문제입니다. 예를 들어 '데이터 마이닝'과 '데이터 분석' 사이의 거리를 수치로 정량화하기란 쉽지 않습니다.
가장 널리 쓰이는 방법: 벡터 공간 모델(Vector Space Model)
문서 랭킹 방식 중 가장 대중적인 것이 벡터 공간 모델입니다. 그 기본 아이디어는 다음과 같습니다.
- 문서와 쿼리를 모두, 전체 키워드 집합에 해당하는 고차원 공간의 벡터로 표현합니다.
- 적절한 유사도(similarity) 측정 기준을 사용해 쿼리 벡터와 문서 벡터 간의 유사성을 평가합니다.
- 계산된 유사도 값을 기준으로 문서의 순위를 매깁니다.
이처럼 벡터 공간 모델은 단순히 문서를 걸러내는 것을 넘어, 관련성이 높은 순서대로 결과를 제시함으로써 사용자 경험을 크게 향상시키는 강력한 검색 방법론으로 자리 잡았습니다.