GPU‑резидентный Top‑K для agentic RAG: как CUDA‑ядро убирает задержки передачи через PCIe
Задержки передачи данных по PCIe могут незаметно становиться узким местом при agentic inference. Проблема возникает, когда этап извлечения данных постоянно переключается между GPU и CPU, из‑за чего обработка фактически «отскакивает» от графического процессора и теряет время на обмен данными.
Один из предложенных подходов, реализовать пользовательское CUDA‑ядро для поиска векторов, которое работает полностью на устройстве. Такой GPU‑resident механизм Top‑K для agentic RAG позволяет обойти CPU на этапе retrieval и удерживать вычисления на GPU.
По описанию решения, перенос поиска векторов непосредственно на GPU позволяет избежать накладных расходов на передачу через PCIe и добиться детерминированных microsecond tail latencies во время выполнения inference.
Ключевые факты
В статье «GPU-Resident Top-K for Agentic RAG: I Built a CUDA Kernel So My Retrieval Step Would Stop Bouncing Off the GPU» описано создание собственного CUDA‑ядра для этапа retrieval.
Утверждается, что задержка передачи по PCIe может становиться скрытым узким местом при agentic inference.
Предложенный подход выполняет векторный поиск Top‑K непосредственно на GPU и обходит CPU.
Цель решения, добиться детерминированных tail‑латентностей на уровне микросекунд.