이 글은 AWS Database Blog에 게시된 Supercharging vector search performance and relevance with pgvector 0.8.0 on Amazon Aurora PostgreSQL by Shayon Sanyal을 한국어 번역 및 편집하였습니다. 효율적인 벡터 유사성 검색은 시맨틱 검색, 추천 시스템, 그리고 검색 증강 생성(RAG) 구현에 있어 핵심 구성 요소가 되었습니다. Amazon Aurora PostgreSQL-Compatible Edition은 이제 pgvector 0.8.0을 지원하여 벡터 검색 기능에 […] ||
이 글은 AWS Database Blog에 게시된 Supercharging vector search performance and relevance with pgvector 0.8.0 on Amazon Aurora PostgreSQL by Shayon Sanyal을 한국어 번역 및 편집하였습니다.
효율적인 벡터 유사성 검색은 시맨틱 검색, 추천 시스템, 그리고 검색 증강 생성(RAG) 구현에 있어 핵심 구성 요소가 되었습니다.
Amazon Aurora PostgreSQL-Compatible Edition은 이제 pgvector 0.8.0을 지원하여 벡터 검색 기능에 상당한 개선사항을 제공하며, 시맨틱 검색과 RAG가 필요한 PostgreSQL 기반 AI 애플리케이션에 대해 Aurora를 더욱 매력적인 선택지로 만들고 있습니다.
이 포스트에서는 Aurora PostgreSQL-Compatible의 pgvector 0.8.0이 어떻게 최대 9배 빠른 쿼리 처리와 100배 더 정확한 검색 결과를 제공하는지 살펴보며, 대규모 벡터 검색을 구현할 때 엔터프라이즈 AI 애플리케이션이 직면하는 주요 확장성 문제를 해결하는 방법을 탐구합니다.
pgvector 0.8.0 개선사항
벡터 데이터베이스가 중요한 인프라 구성 요소로 등장했지만, 효과적인 벡터 검색은 시맨틱 애플리케이션을 구동하는 핵심 기능입니다. 조직이 수백만 또는 수십억 개의 벡터를 처리하도록 AI 애플리케이션을 확장함에 따라, 기존 벡터 검색 구현의 한계가 드러나고 있습니다. pgvector 0.8.0은 이러한 프로덕션 문제를 직접적으로 해결하는 여러 중요한 개선사항을 도입했으며, 특히 대규모 데이터셋에 대한 필터링된 쿼리 작업 시 더욱 효과적입니다.
성능 개선 – pgvector 0.8.0은 버전 0.7.4와 비교하여 특정 쿼리 패턴에 대해 최대 5.7배의 쿼리 성능 향상을 제공합니다. 이러한 개선사항은 이 포스트의 후반부에서 더 자세히 살펴보겠습니다.
완전한 결과 세트 – 0.8.0의 새로운 iterative_scan 기능은 근사 최근접 이웃(ANN) 인덱스 검색이 필요한 필터 쿼리에 대해 향상된 재현율을 제공하며, 이는 불완전한 결과를 반환할 수 있었던 이전 버전에 비해 중요한 개선사항입니다.
향상된 쿼리 계획 – 0.8.0의 개선된 비용 추정은 복잡한 필터링된 검색에 대해 B-tree와 같은 전통적인 인덱스를 선택하는 등 더 효율적인 실행 경로로 이어집니다.
유연한 성능 튜닝 – relaxed_order와 strict_order라는 두 가지 모드의 iterative_scan 도입은 성능 대비 조정 가능한 정확도를 제공합니다.
오버필터링의 문제점
이번 릴리스의 중요성을 이해하려면, 많은 개발자들이 프로덕션 환경으로 전환할 때 직면하는 벡터 검색의 근본적인 문제를 이해하는 것이 중요합니다. pgvector의 이전 버전에서는 벡터 유사성 검색을 전통적인 SQL 필터와 결합할 때, 벡터 인덱스 스캔이 완료된 후에 필터링이 발생했습니다. 이러한 접근 방식은 오버필터링이라는 문제를 야기했으며, 쿼리가 예상보다 적은 결과를 반환하거나 심지어 전혀 결과를 반환하지 않을 수도 있었습니다. 또한 시스템이 많은 벡터를 검색한 후 필터링 과정에서 대부분을 버리게 되어 성능과 확장성 문제를 야기했습니다.
다음 시나리오를 살펴보겠습니다: 수백만 개의 제품 임베딩을 가진 전자상거래 서비스가