Локальный AI‑киоск для магазина: мультимодальный поиск товаров без облака

Разработчик показал прототип розничного киоска Smart Cart, системы поиска товаров в магазине, которая полностью работает офлайн на ноутбуке через Ollama. Такой терминал можно поставить у входа: покупатель задаёт вопрос на обычном английском, например где находится dairy‑free milk, а система подсказывает нужный отдел и предлагает подходящие товары. Архитектура обходится без облачных сервисов, API‑ключей и сетевых вызовов, поэтому данные клиентов остаются на устройстве.

Идея решает типичную проблему розничного поиска, построенного на ключевых словах. Если человек вводит «milk», система находит совпадения в базе. Но запросы вроде «dairy free», «lactose alternative» или «vegan beverage» часто ничего не дают. В Smart Cart используется схема с двойным маршрутом эмбеддингов: смысл текстовых запросов, аудиосигналов и изображений с камеры переводится в векторные пространства. За счёт этого система сопоставляет намерение запроса с товарами. Например, «dairy‑free alternative» оказывается рядом с «So Good Almond Milk», и пользователь получает корректную рекомендацию даже без прямого совпадения по ключевым словам.

Векторное хранилище построено на Qdrant Edge. Автор описывает его как аналог SQLite для векторных баз данных: он устанавливается как Python‑пакет и запускается прямо внутри процесса приложения, без Docker, отдельных серверов и настройки портов. Данные сохраняются локально. В проекте используется каталог qdrant_storage/, где лежат векторы для десяти продуктов и четырёх типов представлений. На этапе ingestion для каждого товара создаётся текстовый эмбеддинг MiniLM‑L6 на основе метаданных, через pdfplumber обрабатываются PDF с питательной информацией, при необходимости формируется CLIP‑эмбеддинг изображения, а также аудио‑эмбеддинг Whisper из синтезированного TTS‑произношения названия продукта. Когда пользователь делает запрос, запускается цикл поиска, который использует эти данные.

Полное описание и код проекта опубликованы на GitHub. Как пишет Towards AI, этот пример показывает, что мультимодальный agentic RAG‑подход может работать полностью локально и не зависеть от интернет‑инфраструктуры.