이번 블로그 게시물에서는 Upstash Redis, Upstash Vector 및 Vercel AI SDK를 사용하여 생성할 수 있는 AI 애플리케이션을 자세히 살펴보겠습니다. 각 도구의 고유한 기능을 살펴보고 강력하고 효율적인 AI 솔루션을 구축하기 위해 통합할 수 있는 방법을 강조하겠습니다. 이러한 도구의 기능을 검토하면서 예제 애플리케이션도 간략하게 살펴보겠습니다.
업스태시 벡터
먼저 벡터와 벡터 데이터베이스를 이해해 봅시다.
벡터 데이터베이스는 벡터라고 알려진 숫자 배열 형식으로 데이터를 저장하고 검색하도록 설계된 특수 데이터 저장 시스템입니다. 이러한 데이터베이스는 대량의 고차원 벡터를 효율적으로 처리하므로 복잡한 데이터 구조를 관리하는 데 이상적입니다. 벡터 데이터베이스 사용의 주요 이점:
효율성 :이러한 데이터베이스는 고차원 벡터의 효율적인 저장 및 검색을 제공하여 AI 애플리케이션의 계산 부하를 줄이고 쿼리 응답 속도를 높입니다.
정확성 :최적화된 검색 알고리즘은 벡터 데이터베이스가 가장 관련성이 높은 데이터 포인트를 정확하게 찾도록 보장하여 추천 엔진 및 사기 탐지 시스템과 같이 데이터 분류가 필요한 시스템의 성능을 향상시킵니다.
실시간 처리 :실시간으로 데이터를 처리할 수 있는 기능을 갖춘 벡터 데이터베이스는 챗봇, 실시간 분석 등 즉각적인 응답이 필요한 애플리케이션에 이상적입니다.
AI의 벡터는 일반적으로 애플리케이션의 맥락에서 필수 기능이나 특징을 포착하는 객체의 임베딩 기반 모델을 나타냅니다. 예를 들어, 자연어 처리 기반 AI 애플리케이션에서 벡터는 주어진 텍스트, 음성 또는 문서의 의미를 나타낼 수 있습니다. 이미지 처리 기반 애플리케이션에서 벡터는 해당 이미지의 특징을 나타냅니다.
이제 Upstash Vector에 대해 자세히 살펴보겠습니다.
Upstash Vector는 코사인, 유클리드 거리, 내적 등 3가지 유형의 유사성 함수를 갖춘 벡터 유사성 검색 알고리즘으로 DiskANN을 활용하는 서버리스 벡터 데이터베이스입니다. Upstash Vector는 서버리스이므로 종량제 가격과 탐색을 원하는 사람들을 지원하는 무료 등급을 제공합니다.
Upstash 문서에서 Upstash 벡터에 사용되는 알고리즘 및 유사성 함수에 대한 자세한 내용을 확인할 수 있습니다.
저렴한 고성능 검색 기능 외에도 Typescript 및 Python의 Rest API 및 SDK를 제공하여 Upstash Vector를 코드베이스에 쉽게 통합할 수 있습니다.
Upstash Vector와 통합하려면 먼저 콘솔에 로그인해야 합니다. 로그인한 후 Create Index를 클릭하여 벡터 인덱스를 생성할 수 있습니다. 버튼. 팝업 모달에서 인덱스 이름을 지정하고 인덱스가 있는 지역을 선택할 수 있습니다. 그런 다음 Upstash Vector 인덱스에 쓰기 전에 주어진 객체에서 임베딩을 추출하는 데 사용할 임베딩 모델을 선택할 수 있습니다. Upstash에는 사용할 수 있는 사전 정의된 오픈 소스 임베딩 모델이 있습니다. 그렇지 않으면 Custom을 선택할 수 있습니다. 우리가 사용하는 외부 임베딩 모델에 따라 벡터의 크기를 설정할 수 있습니다.
마지막으로 벡터 간의 거리를 계산하는 유사성 함수를 선택할 수 있습니다. Upstash에는 코사인(Cosine), 유클리드 거리(Euclidean distance), 내적(dot product)이라는 3가지 유사성 함수가 정의되어 있습니다. Upstash 문서에서 유사성 기능에 대해 자세히 알아볼 수 있습니다.
다음 화면에서는 우리에게 적합한 플랜을 선택할 수 있습니다.
인덱스 생성이 완료되면 Upstash Vector를 코드베이스와 통합할 수 있습니다. 이 블로그 게시물에서는 Typescript를 사용하겠지만 Python이나 Go SDK도 사용할 수 있습니다. Details에 제공된 통합 가이드를 따를 수 있습니다. Upstash Vector 콘솔의 탭. 먼저 @upstash/vector을 설치해야 합니다. 의존성.
npm i @upstash/vector
이제 다음과 같은 방법으로 쉽게 연결하고 작성하고 쿼리할 수 있습니다.
import { Index } from "@upstash/vector"
const index = new Index({
url: <UPSTASH-VECTOR-ENDPOINT>,
token: <UPSTASH-VECTOR-TOKEN>,
})
await index.upsert({
id: "id1",
vector: […],
metadata: { metadata_field: "metadata_value" },
});
await index.query({
vector: […],
topK: 1,
includeVectors: true,
includeMetadata: true,
});Vercel AI SDK
Vercel AI SDK는 AI 기능을 웹 애플리케이션에 효율적으로 통합하도록 설계된 TypeScript 툴킷입니다. React, Next.js, Vue, Svelte, Node.js와 같은 다양한 프레임워크를 지원하므로 개발자는 AI 기반 애플리케이션을 효율적으로 구축할 수 있습니다. Vercel AI SDK는 3가지 주요 개념으로 구성됩니다:
AI SDK 코어
Vercel AI SDK Core는 인공 지능 기능을 웹 애플리케이션에 효율적으로 통합하도록 설계된 Vercel AI SDK의 필수 구성 요소입니다. 이 핵심 모듈은 LLM(대형 언어 모델)을 사용하여 텍스트, 구조화된 개체 및 도구 호출을 생성하는 데 도움이 되는 통합 API를 제공합니다.
가장 일반적인 사용 예는 generateText를 사용하는 것입니다. 또는 streamText API. Typescript에서 빠르게 사용해 보겠습니다.
먼저 터미널에서 다음 명령어를 실행하여 Vercel AI SDK를 가져옵니다.
`npm i ai`
그런 다음 generateText을 사용할 수 있습니다. API를 예로 들어 보겠습니다. Vercel AI SDK는 OpenAI, Antropic, Google, Mistral 등과 같은 일부 알려진 모델 제공자와의 통합을 제공합니다. 이 예에서는 OpenAI를 사용하지만 다른 예도 OpenAI 통합만큼 간단합니다.
import { generateText } from "ai"
import { openai } from "@ai-sdk/openai"
const { text } = await generateText({
model: openai("gpt-4-turbo"),
prompt: "What is love?"
})AI SDK UI
Vercel AI SDK UI는 개발자가 채팅 인터페이스 생성, 생성적 AI 구성요소 및 상태 관리와 같은 몇 가지 추가 기능을 갖춘 대화형 채팅, 완성 및 보조 애플리케이션을 구축하는 데 도움을 주기 위해 설계된 프레임워크에 구애받지 않는 툴킷입니다.
가장 일반적인 사용 예는 useChat입니다. 및 useCompletion 후크. useChat 메시지, 로딩 상태, 오류 등 필요한 입력 및 출력 유형에 대한 상태 관리를 추상화하여 채팅 메시지 스트리밍을 제공합니다. useCompletion 개발자는 AI 애플리케이션 내에서 텍스트 완성을 관리하고, 채팅 입력 상태를 처리하며, 공급자로부터 새로운 완성이 도착하면 UI를 자동으로 업데이트할 수 있습니다.
useChat 사용법을 살펴보겠습니다. AI SDK UI의 예로 빠르게 설명하겠습니다.
const { messages, input, handleInputChange, handleSubmit} =
useChat({
api: "api/chat",
initialMessages: […],
onResponse(response) {},
streamMode: "text",
});보시다시피 메시지가 전송될 때 API 엔드포인트를 호출하고 응답이 수신될 때 함수를 사용하며 상태 자체를 관리합니다.
AI SDK RSC
Vercel AI SDK의 이 부분은 서버 측 렌더링을 위한 것입니다. AI SDK RSC의 목적은 RSC(React Server Components)를 통해 서버에서 클라이언트로 직접 UI를 생성하고 스트리밍할 수 있도록 LLM(대형 언어 모델)에 대한 지원을 제공하는 것입니다.
AI SDK RSC에는 서버 측 렌더링된 UI에 대한 스트리밍 출력을 지원하는 여러 기능이 있습니다. 이에 대한 자세한 내용은 Vercel AI SDK RSC 문서를 참조하세요. 이 블로그에서는 함수 하나를 살펴보고 그것이 어떻게 작동하는지 살펴보겠습니다. 이를 위해 streamUI 사용법을 이해해 보겠습니다. 기능입니다.
const result = await streamUI({
model: openai('gpt-4o'),
prompt: 'Get the weather for San Francisco',
text: ({ content }) => <div>{content}</div>,
tools: {},
});
보시다시피 streamUI AI SDK Core 기능처럼 작동합니다. 주요 차이점은 서버에서 렌더링된 UI를 스트리밍한다는 것입니다.
즉, Vercel AI SDK는 개발자가 백엔드에서 프런트엔드까지 소프트웨어 개발의 모든 부분에서 AI 애플리케이션을 구축할 수 있도록 도와줍니다.
업스태시 레디스
AI 애플리케이션에서 Upstash Redis는 주로 API 및 LLM 모델 사용을 보호하기 위한 속도 제한, 캐싱 목적 또는 AI 챗봇 애플리케이션의 메시지 기록 저장에 사용될 수 있습니다.
먼저 Upstash 콘솔에 Redis 데이터베이스를 생성해야 합니다.
<강한> 
Redis 데이터베이스를 생성하면 Redis를 코드베이스와 통합하여 캐싱 데이터, 메시지 기록, 대화 상태 등의 데이터를 작성하고 쿼리할 수 있습니다. 이를 위해서는 먼저 Upstash Redis SDK를 설치해야 합니다.
npm i @upstash/redis
그런 다음 코드에서 Redis 데이터베이스를 연결할 수 있습니다.
import { Redis } from '@upstash/redis'
const redis = new Redis({
url: <UPSTASH-REDIS-ENDPOINT>,
token: <UPSTASH-REDIS-TOKEN>,
})
const data = await redis.set('foo', 'bar');속도 제한을 위해 Redis를 사용하려면 Upstash에서 제공하는 속도 제한 SDK도 사용할 수 있습니다. Rate Limiting SDK마다 설치되는 종속성이 다릅니다.
npm install @upstash/ratelimit
이제 속도 제한을 구현하겠습니다.
import { Ratelimit } from "@upstash/ratelimit";
import { Redis } from "@upstash/redis";
// Create a new ratelimiter, that allows 10 requests per 10 seconds
const ratelimit = new Ratelimit({
redis: Redis.fromEnv(),
limiter: Ratelimit.slidingWindow(10, "10 s"),
analytics: true,
/**
* Optional prefix for the keys used in redis. This is useful if you want to share a redis
* instance with other applications and want to avoid key collisions.5
*/
prefix: "prefix",
});
// Use a constant string to limit all requests with a single ratelimit
// Or use a userID, apiKey or ip address for individual limits.
const identifier = "identifier";
const { success } = await ratelimit.limit(identifier);
if (!success) {
return "Unable to process at this time";
}
// rest of the codeVercel AI SDK와 함께 Upstash Redis 및 Vector 사용
이제 위에서 설명한 도구로 무엇을 할 수 있습니까? 정말 많은 것들이...
RAG 챗봇은 Vercel AI SDK 및 Upstash Vector 데이터베이스를 사용하여 구축할 수 있는 가장 일반적인 생성 AI 애플리케이션입니다. 검색 증강 생성(RAG)은 챗봇 및 기타 대화형 AI 시스템의 기능을 크게 향상시키는 고급 프레임워크입니다. 검색과 생성이라는 두 가지 중요한 구성 요소를 병합하여 보다 정확하고 상황에 맞게 관련성이 높으며 유익한 응답을 제공합니다. RAG 챗봇은 LLM 모델에서 다음 응답을 생성하는 데 사용할 수 있는 임베딩 형식으로 채팅 기록을 저장하고 제공하는 벡터 데이터베이스를 검색기로 사용합니다. 이러한 방식으로 LLM 모델은 대화의 맥락과 관련된 응답을 생성하고 과거 대화에서 배울 수 있습니다.
이러한 종류의 챗봇 애플리케이션의 경우 Upstash Vector는 검색자가 될 수 있는 완벽한 벡터 데이터베이스입니다. Upstash Vector와의 통합 외에도 streamText를 사용할 수 있습니다. 또는 streamObject OpenAI, Anthropic, Mistral 등과 같은 LLM 모델에서 나오는 응답을 생성하고 스트리밍하기 위한 백엔드 측의 Vercel AI SDK 핵심 구성 요소 API. 프론트엔드 측에서는 useChat를 활용할 수 있습니다. 채팅 UI와 상태 관리를 처리하는 강력한 프레임워크인 Vercel AI SDK UI 구성요소의 후크입니다. DegreeGuru 블로그 게시물에서 RAG 애플리케이션 예시를 볼 수 있습니다.
Vercel AI SDK로 쉽게 구축할 수 있는 또 다른 일반적인 AI 애플리케이션 유형의 예는 추천 시스템입니다. 추천 시스템은 전자상거래 플랫폼의 가장 중요한 기능 중 하나입니다. 사용자의 개인 취향과 이력을 활용하여 사용자의 관심사를 파악하고 유용한 추천을 제공합니다. 추천 시스템을 구축하는 동안 Vercel AI SDK Core는 embed를 사용하여 사용자 데이터의 임베딩을 쉽게 추출하는 데 도움이 될 수 있습니다. 기능. 아래 예시 코드를 살펴보겠습니다.
import { embed } from 'ai';
import { openai } from '@ai-sdk/openai';
// 'embedding' is a single embedding object (number[])
const { embedding } = await embed({
model: openai.embedding('text-embedding-3-small'),
value: 'sunny day at the beach',
});실제로 숫자 배열 형식의 의미 데이터인 임베딩을 추출한 후 출력을 Upstash Vector에 저장할 수 있습니다. 이러한 임베딩은 사용자 습관에 따라 쿼리 및 분류될 수 있으며 향후 추천에 사용될 수 있습니다.
embed Vercel AI SDK Core의 입력에서 임베딩을 추출하는 기능은 의미 검색, 이미지 검색, 콘텐츠 요약 등 모든 종류의 기계 학습 애플리케이션에서 사용할 수 있습니다. 개발자는 이 기능으로 추출된 벡터 임베딩을 Upstash 벡터 데이터베이스에 삽입할 수 있으므로 제품은 AI 알고리즘에 쓸모가 없는 원시 데이터를 저장할 필요 없이 임베딩을 기반으로 입력을 분석할 수 있습니다. 마지막 예제 애플리케이션은 고객 리뷰의 AI 요약입니다. 이 예제 애플리케이션에서는 제품에 대한 고객 리뷰인 지정된 텍스트에서 임베딩을 추출하여 벡터 데이터베이스에 저장할 수 있습니다. 나중에 분석가는 벡터를 사용하여 Vercel AI SDK Core를 다시 사용하여 LLM 모델을 요청함으로써 데이터 요약을 얻을 수 있습니다.
이 블로그 게시물에서 논의할 수 있는 마지막 예는 사기/이상 탐지 시스템입니다. 이상 탐지의 매우 기본적인 형식에서 개발자는 비정상적인 움직임이 있는지 탐지할 수 있도록 트랜잭션이나 사용자 행동을 분류해야 합니다. 이를 위해 Upstash 벡터 데이터베이스를 사용하여 n차원 공간에 위치할 벡터를 생성할 수 있습니다. Upstash Vector에 벡터를 저장하여 사용자의 상호 작용이 공간에 위치하면 분석 도구는 벡터 공간의 상호 작용과 들어오는 상호 작용의 유사성을 얻을 수 있습니다. 이러한 유사성 점수는 상호 작용이 정상적인지 여부를 식별하는 데 도움이 될 수 있습니다.
위에서 논의한 모든 예제 애플리케이션에서는 텍스트 생성, AI 모델 호출을 통해 임베딩 추출 등과 같은 모든 종류의 과도한 작업에 대해 Upstash 속도 제한 기능을 활용할 수 있습니다. 속도 제한 덕분에 트래픽 폭증으로부터 작업을 보호할 수 있습니다. 그 외에도 Upstash Redis는 메시지 기록, LLM 모델에 사용하는 프롬프트 캐시 등과 같은 애플리케이션의 원시 사용자 데이터를 저장하기에 좋은 장소가 될 수 있습니다.
결론
이 블로그 게시물에서 우리는 Upstash Redis, Upstash Vector 및 Vercel AI SDK가 고급 AI 애플리케이션을 구축하는 데 유용한 조합을 형성한다는 것을 발견했습니다. 이러한 도구는 함께 작동하여 데이터를 효율적으로 관리하고, 정보를 처리하고, AI 모델을 배포합니다. 제공된 예는 다양한 AI 솔루션을 만드는 데 있어 이 기술 스택의 다양성을 보여줍니다.
더 많은 예시를 보려면 Upstash 블로그와 Vercel 템플릿을 확인하세요.