Google использует DiffusionGemma для оптимизации локального инференса
Google представила подход DiffusionGemma, связанный с оптимизацией локального инференса. Речь идет о работе больших языковых моделей (LLM). Они обладают высокой мощностью, но до сих пор функционируют так, будто набирают текст на клавиатуре: обрабатывают нагрузку последовательно, шаг за шагом.
Из‑за такого принципа даже производительные LLM выполняют операции поочередно, почти как при обычном наборе текста. DiffusionGemma предлагается как способ улучшить выполнение задач при локальном запуске моделей, именно в этом направлении и нацелена инициатива Google.
Ключевые факты
Google оптимизирует локальный инференс с помощью DiffusionGemma.
В материале отмечается, что большие языковые модели (LLM), несмотря на высокую мощность, обрабатывают нагрузки «как если бы они печатали на клавиатуре».