멀티미디어 데이터베이스 시스템은 오디오, 비디오, 이미지, 그래픽, 음성, 텍스트, 문서 및 하이퍼텍스트 데이터와 같은 텍스트, 텍스트 마크업, 그리고 연결. 멀티미디어 데이터베이스 시스템은 오디오-비디오 장비, 디지털 카메라, CD-ROM 및 인터넷의 대중적인 사용으로 인해 점점 보편화되고 있습니다. NASA의 EOS(Earth Observation System), 각종 이미지 및 오디오 비디오 데이터베이스, 인터넷 데이터베이스 등 멀티미디어 데이터베이스 시스템이 있습니다.
멀티미디어 인덱싱 및 검색 시스템에는 다음과 같은 두 가지 주요 그룹이 있습니다.
설명 기반 검색 시스템 − 키워드, 캡션, 크기 및 생성 시간과 같은 이미지 설명을 기반으로 인덱스를 구축하고 객체 검색을 수행하는 데 사용됩니다. 설명 기반 검색은 수동으로 수행하는 경우 노동 집약적입니다. 자동화된 경우 일반적으로 품질이 좋지 않습니다.
예를 들어, 이미지에 키워드를 할당하는 것은 어렵고 임의적인 서비스일 수 있습니다. 최근 개발된 웹 기반 이미지 클러스터링 및 분류 기술은 이미지로 둘러싸인 텍스트 정보와 웹 연결 정보를 사용하여 적절한 설명과 유사한 주제를 설명하는 그룹 이미지를 함께 추출할 수 있기 때문에 정의 기반 웹 이미지 검색의 품질을 향상시켰습니다.
콘텐츠 기반 검색 시스템 − 색상 히스토그램, 질감, 패턴, 이미지 토폴로지, 개체의 모양, 레이아웃 및 이미지 내 위치와 같은 이미지 콘텐츠를 기반으로 검색을 지원할 수 있습니다. 콘텐츠 기반 검색은 시각적 특성을 용이하게 하여 이미지를 인덱싱하고 특징 유사성을 기반으로 객체 검색을 개선하므로 여러 응용 프로그램에서 매우 바람직합니다.
컨텐츠 기반 이미지 검색 시스템에는 이미지 샘플 기반 쿼리와 이미지 기능 사양 쿼리의 두 가지 쿼리가 있는 경우가 많습니다. 이미지 샘플 기반 쿼리는 주어진 이미지 샘플과 유사한 모든 이미지를 찾습니다. 이 검색은 샘플에서 추출한 특징 벡터(또는 시그니처)를 이미지 데이터베이스에서 추출 및 정렬된 이미지의 특징 벡터로 분석합니다.
이미지 특징 사양 쿼리는 데이터베이스에 있는 이미지의 특징 벡터와 연결될 특징 벡터로 변환되는 색상, 질감 또는 모양과 같은 그림 특징을 정의하거나 그립니다.
콘텐츠 기반 검색은 의료 진단, 날씨 예측, TV 제작, 이미지용 웹 검색 엔진 및 전자 상거래를 포함하여 광범위한 응용 프로그램을 가지고 있습니다. QBIC(이미지 콘텐츠별 쿼리)를 포함한 일부 시스템은 샘플 기반 및 이미지 기능 요구 사항 쿼리를 모두 제공합니다. 콘텐츠 기반 검색과 설명 기반 검색을 모두 지원하는 시스템도 있습니다.