실시간 머신 러닝(ML) 애플리케이션은 신용 카드 거래를 승인하는 것부터 좋아하는 스트리밍 서비스에 대한 맞춤 추천을 즉시 생성하는 것까지 어디에나 있습니다. 이러한 응용 프로그램은 지연을 허용할 수 없습니다. 대기 시간이 매우 짧은 추론(100밀리초 이하)을 제공하기 위해 최신 데이터에 대한 실시간 액세스가 필요합니다. 개발자와 조직에 대규모 ML 애플리케이션을 위한 비용 효율적인 실시간 기능을 제공하기 위해 Tecton과 Redis Enterprise Cloud의 일류 통합을 공동으로 발표하게 된 것을 기쁘게 생각합니다.
Redis Enterprise Cloud는 최고의 Redis 버전으로 클라우드 공급업체 전반에 걸쳐 동급 최고의 성능, 확장성 및 비용 효율성을 제공합니다. Redis는 Stack Overflow의 연례 개발자 설문조사에서 5년 연속으로 개발자들에게 가장 사랑받는 데이터베이스로 선정되었습니다. 금융 서비스, 전자 상거래 및 게임 산업에서 널리 사용되는 Redis는 가장 까다로운 대기 시간(밀리초 미만) 및 고가용성 요구 사항을 충족한 실적을 보유하고 있어 실시간 ML 애플리케이션의 요구 사항을 충족하는 데 이상적으로 적합합니다.
Tecton은 ML 프로젝트의 프로덕션 시간을 단축하려는 기업을 위한 주요 기능 저장소입니다. 그 기반은 Uber의 모든 ML 애플리케이션을 지원하는 플랫폼인 Uber Michelangelo를 구축한 경험에서 비롯되었습니다. Tecton은 프로덕션 ML 애플리케이션을 위한 데이터 파이프라인 및 기능을 운영하고 관리하는 시스템입니다. 일반적인 사용 사례에는 사기 탐지, 실시간 권장 사항, 동적 가격 책정 및 개인화가 포함됩니다.
이제 Tecton의 Feature Store가 온라인 서비스를 위해 Redis Enterprise Cloud와 통합되므로 대기 시간이 짧고 처리량이 높은 ML 사용 사례를 생산하는 것이 그 어느 때보다 쉽고 비용 효율적입니다. 대규모로 실행하는 Tecton 사용자의 경우 벤치마크 분석에 따르면 Redis Enterprise는 Amazon DynamoDB보다 3배 빠른 지연 시간을 달성하는 동시에 14배 저렴합니다(Tecton의 블로그에서 자세히 알아보기). 이 기사에서는 Redis Enterprise와 Tecton이 함께 작동하는 방식에 대해 자세히 살펴보겠습니다.
Tecton이 Redis와 통합되는 방식
실시간 ML을 지원하기 위해 Tecton과 Redis가 함께 적합한 위치를 이해하기 위해 사기 감지와 같은 ML 사용 사례를 생산하는 단계를 살펴보겠습니다.
- 첫째, 원시 데이터가 필요합니다(예:사용자의 모든 과거 거래 + 실시간 현재 거래). 이 데이터는 기업 전체의 다양한 데이터 웨어하우스 및 데이터 스트림을 통해 확산될 가능성이 큽니다.
- 모델에 대한 기능을 생성하려면 해당 데이터 소스에 연결하고 기능을 생성할 데이터 변환을 정의 및 실행해야 합니다. 예를 들어, 한 기능은 지난 6개월 동안 사용자의 평균 거래 금액을 보고 현재 거래와 비교할 수 있습니다.
- 궁극적으로는 실시간 예측을 수행하는 ML 모델에 기능을 제공해야 하며, 사용자가 지연을 인지하지 못하도록 100ms 미만의 지연 시간으로 이 작업을 수행해야 합니다.
Tecton의 Feature Store는 이러한 단계를 처리하도록 설계되어 기능 변환 및 데이터 파이프라인을 오케스트레이션하는 모든 작업을 추상화하여 데이터 과학 및 데이터 엔지니어링 팀이 모델 구축에 집중할 수 있도록 합니다. 그러나 Tecton은 컴퓨팅 엔진이나 데이터베이스가 아닙니다. 대신 고객이 이미 사용하고 있는 인프라 위에 위치하므로 자신에게 적합한 ML 스택을 자유롭게 구축할 수 있습니다.
Redis Enterprise Cloud는 이러한 인프라 구성요소 중 하나로 고객에게 온라인 스토어 를 위한 새로운 고성능 옵션을 제공합니다. Tecton의 Feature Store에서 사용합니다.
Tecton이 온라인 및 오프라인 매장을 사용하는 방식
Tecton의 Feature Store는 ML에 대한 두 가지 주요 액세스 패턴을 지원합니다. 모델 교육을 위해 수백만 행의 기록 데이터를 검색하고, 프로덕션에서 실행 중인 모델에 기능을 제공하기 위해 밀리초 단위로 단일 행을 검색합니다. 이러한 사용 사례는 성능 및 비용 절충 측면에서 매우 다르기 때문에 오프라인 대 온라인 기능 검색에 대해 서로 다른 유형의 데이터베이스를 지원합니다.
오프라인 기능 저장소의 경우 Tecton은 모델 교육에 대한 오프라인 기능 제공 요구 사항을 충족하도록 확장할 수 있는 비용 효율적인 저장소를 제공하기 때문에 S3를 지원합니다. 이제 Tecton은 온라인 기능 저장소의 경우 고객에게 DynamoDB(주문형 용량 모드)와 Redis Enterprise Cloud 사이에서 유연한 선택을 제공합니다.
교육 제공 편향 제거
이 이중 데이터베이스 접근 방식이 없으면 많은 조직에서 오프라인 교육 및 온라인 서비스를 위해 별도의 데이터 파이프라인을 구현합니다. 파이프라인이 구현되는 방식의 사소한 차이는 모델 성능을 완전히 탈선시킬 수 있습니다. 모델이 훈련에서 보는 데이터가 프로덕션에서 만나는 데이터와 일치하지 않기 때문입니다. 이러한 불일치를 학습-서빙 스큐(training-serving skew)라고 하며 디버그하는 데 엄청나게 많은 시간이 소요됩니다.
Tecton의 Feature Store는 오프라인 및 온라인 환경 전반에 걸쳐 데이터를 조정하여 교육 제공 왜곡을 자동으로 해결하므로 항상 동기화됩니다. 사용자는 일괄 추론으로만 오프라인 스토어 사용을 시작할 수 있으며, 온라인 추론 준비가 되면 한 줄의 코드를 업데이트하여 데이터를 온라인 스토어로 구체화하기 시작합니다.
Tecton 사용자를 위한 Redis Enterprise Cloud의 장점
대규모로 운영하는 Tecton 사용자의 경우 Redis Enterprise Cloud 사용의 주요 이점 중 하나는 성능 및 비용 절감입니다. 높은 처리량으로 온라인 기능을 제공하는 벤치마크 분석에 따르면 Redis는 DynamoDB onTecton보다 3배 빠르고 14배 저렴했습니다.
또한 Redis Enterprise Cloud는 현재 및 미래의 저지연 스토리지 요구 사항을 충족할 수 있는 뛰어난 운영 기능을 제공합니다. 99.999% 가동 시간의 SLA, 다중 데이터베이스 지속성, 백업 및 복구 옵션으로 고가용성을 제공합니다. 기능 데이터 세트가 큰 고객은 온라인 기능 저장소를 DRAM 및 SSD에 계층화하여 추가 비용 절감 효과를 얻을 수 있습니다.
시작하는 방법
아직 Redis Enterprise Cloud를 사용하고 있지 않다면 여기에서 계정을 등록할 수 있습니다. Tecton은 AWS에서 기본적으로 실행되고 Redis Enterprise Cloud에 대한 피어링 연결을 설정할 수 있으므로 Tecton 사용자는 지연 시간을 최소화하기 위해 AWS에 Redis Enterprise Cloud를 배포하는 것이 좋습니다. 앞으로 Tecton은 다른 클라우드 공급업체 플랫폼에 대한 기본 지원을 추가할 계획입니다.
Tecton 사용자가 아니고 더 자세히 알고 싶다면 여기에서 Tecton 무료 평가판에 등록할 수 있습니다.