К содержанию
Новости

AWS добавила встроенный векторный поиск в DynamoDB

Инфографика: до 4096 размерность embeddings
Графика: hegai.media

AWS открыла общий доступ к встроенному векторному поиску в Amazon DynamoDB. Пользователям больше не нужна отдельная векторная база данных для семантического поиска: embeddings и операционные данные теперь можно хранить вместе. Как пишет Heise online, это должно снизить нагрузку на сопровождение и синхронизацию между разными системами.

Для новой функции AWS добавила тип векторного индекса, который создается на атрибуте с embeddings. DynamoDB хранит embeddings как список значений float в уже существующем типе данных List, поэтому менять схему или вводить новый тип данных не требуется. Генерировать embeddings можно любой моделью, но для запросов нужно использовать ту же embedding-модель, что и для индексируемых данных.

Запросы выполняются через API SearchVectors. Разработчик передает вектор запроса, указывает количество результатов и при необходимости добавляет фильтры. В сервисе используется ANN-поиск, оптимизированный для низких задержек и высокой доли совпадений. DynamoDB поддерживает embeddings размерностью до 4096, а также три метрики расстояния: Cosine, Euclidean Distance и Dot Product.

По данным AWS, функция уже доступна во всех коммерческих регионах AWS и не требует отдельной платной подписки. Стоимость зависит от стандартных компонентов тарификации DynamoDB и характера использования сервиса.

Ключевые факты

  • API SearchVectors позволяет задавать до 100 результатов поиска и поддерживает дополнительные фильтры

  • DynamoDB поддерживает embeddings размерностью до 4096

  • Векторные индексы используют ANN-поиск для низких задержек и высокой доли совпадений

  • Фильтры в векторном поиске поддерживают только точные совпадения значений без диапазонных и префиксных запросов

Вопросы и ответы

Нужно ли теперь поднимать отдельную векторную БД для семантического поиска?

Нет. AWS встроила векторный поиск прямо в DynamoDB: embeddings и операционные данные можно хранить в одной базе без отдельного векторного хранилища и синхронизации между системами.

Какие ограничения и параметры есть у нового векторного поиска?

API SearchVectors возвращает до 100 результатов за запрос, поддерживает embeddings размерностью до 4096 и три метрики расстояния: Cosine, Euclidean Distance и Dot Product. Для низких задержек используется ANN-поиск.

Как устроены фильтры и что важно учесть при внедрении?

Фильтры поддерживают только точные совпадения значений: диапазонных и префиксных запросов нет. Также запросы должны использовать ту же embedding-модель, которой были созданы индексируемые данные.

Контекст по теме