2019년 9월 9일 ObjectRocket.com/blog에 처음 게시된 글입니다.
Rackspace ObjectRocket의 미션은 고객의 데이터베이스를 오토파일럿 상태로 운영하여, 데이터 관리에 대한 걱정 없이 훌륭한 애플리케이션 개발에만 집중할 수 있도록 돕는 것입니다. 하지만 데이터베이스가 자동으로 관리되고 있더라도, 시스템의 관측 가능성(Observability)을 유지하는 것은 여전히 중요한 목표입니다.
데이터 스토어에서 실제로 어떤 일이 일어나고 있는지, 그리고 최신 애플리케이션 변경 사항이 데이터베이스 성능에 어떤 영향을 미치는지 정확하게 파악하는 것은 그 무엇보다 중요합니다.
바로 이러한 이유에서 저희는 새로운 플랫폼의 CockroachDB®, PostgreSQL®, Elasticsearch® 제품군을 위해 완전히 새로운 메트릭 대시보드를 출시했습니다!
제공되는 기능
ObjectRocket의 Mission Control에 로그인하면 가장 먼저 눈에 띄는 것은 메인 메뉴에 추가된 Grafana® Metrics 옵션입니다.
Grafana Metrics 아이콘을 클릭하면 새 브라우저 창이 열리며, 싱글 사인온(SSO)을 통해 호스팅된 Grafana 서버에 자동으로 로그인됩니다. 이곳에서 새로운 ObjectRocket 플랫폼의 모든 인스턴스에 대한 메트릭 대시보드를 확인할 수 있습니다.
Rackspace ObjectRocket 구독의 일부로 Grafana를 통해 다음과 같은 혜택을 누리실 수 있습니다:
- Mission Control과 Grafana 간의 싱글 사인온(SSO) 지원
- 모든 ObjectRocket 인스턴스의 핵심 메트릭을 담은 대시보드
- 모든 메트릭을 한곳에서 통합 확인
- 무제한 메트릭 보존 기간
이러한 메트릭의 가치는 직접 경험해 보는 것이 가장 좋습니다. 지금 바로 ObjectRocket에 가입하고 인스턴스를 생성하여 새로운 대시보드를 확인해 보세요! 구현 방식과 앞으로의 계획이 궁금하다면 아래 내용을 계속 읽어보세요.
구현 방법
ObjectRocket은 처음부터 포괄적인 메트릭을 활용해 고객의 데이터 스토어를 관리하고 유지해 왔습니다. 이를 위해 저희는 Prometheus를 적극적으로 사용하고 있습니다. 저희가 관리하는 모든 인스턴스는 로컬 Prometheus 서버로 메트릭을 내보내며, 지원팀은 이를 통해 데이터 스토어 문제를 모니터링하고 진단합니다.
내부적으로 방대한 데이터를 보유하고 있음에도 불구하고, 고객들은 저희가 사용하는 것과 동일한 메트릭에 대한 접근 권한을 자주 요청해 왔습니다. 새로운 플랫폼 구축을 시작하면서 저희는 바로 이 요청을 실현하기로 했습니다. 이를 위해 Prometheus가 해결하지 못하는 세 가지 문제, 즉 데이터 보존(retention), 글로벌 쿼리(global queries), 멀티 테넌시(multi-tenancy)를 해결해야 했습니다.
Thanos로 해결한 보존과 글로벌 쿼리
데이터 보존과 글로벌 쿼리 문제를 해결하기 위해 저희는 오픈소스 프로젝트인 Thanos를 도입했습니다. Thanos를 활용하면 단일 엔드포인트를 통해 전 세계에 분산된 Prometheus 서버 fleet 전체를 쿼리할 수 있고, 오래된 데이터를 압축(compaction)하여 스토리지를 효율적으로 관리할 수 있으며, 무제한 보존 기간도 제공받을 수 있습니다. 이상적인 솔루션이었고, 실제로 완벽하게 작동하고 있습니다.
prometheus-filter-proxy로 해결한 멀티 테넌시
멀티 테넌시는 또 다른 도전 과제였습니다. 대시보드 프론트엔드로 선호하는 Grafana는 멀티 테넌시를 기본적으로 지원하지만, Prometheus는 그렇지 않습니다. 저희는 이 격차를 메우기 위한 솔루션을 개발했으며, 이를 prometheus-filter-proxy라고 부릅니다. 이 솔루션을 통해 쿼리를 수행하는 사용자에게 속한 데이터만 필터링하여 제공할 수 있습니다.
새로운 플랫폼과 함께, 이제 고객에게 메트릭을 제공하는 데 필요한 모든 구성 요소를 갖추게 되었습니다. 이번 글에서는 전체 아키텍처를 간략히 소개했지만, 앞으로 아키텍처의 세부 사항, 개발 과정에서 마주한 어려움, 그리고 그 과정에서 내린 의사결정들을 더 깊이 있게 다룰 후속 콘텐츠를 준비하고 있습니다. 많은 기대 부탁드립니다.
향후 계획
이번 메트릭 기능은 고객들의 오랜 요청을 반영한 것이지만, 앞으로 더 많은 기능이 준비되어 있습니다! 그중 하나는 새로운 컨트롤 패널인 Mission Control에 이 메트릭들의 핵심 지표를 표시하는 기능입니다. 심층적인 메트릭 분석은 Grafana에서 수행하겠지만, Mission Control에는 주요 메트릭을 배치하여 인스턴스 현황을 한눈에 빠르게 파악할 수 있도록 할 계획입니다. 또한 Grafana에 추가적인 설정 옵션과 대시보드 컨트롤 기능도 지속적으로 추가할 예정입니다. 지금 바로 가입하고 새로운 기능을 경험해 보세요!
의견이나 질문이 있으시면 Feedback 탭을 이용해 주세요. Sales Chat 버튼을 클릭하면 지금 바로 상담을 시작하실 수 있습니다.