Основатель Osmantic Ахмад Осман выступил на AI Engineer World’s Fair с серией воркшопов о локальном ИИ и запуске моделей на собственных компьютерах, рабочих станциях и специализированном оборудовании. По его словам, интерес к таким системам заметно вырос. Среди участников были не только энтузиасты железа, но и студенты, а также руководители компаний, изучающие приватную инфраструктуру, маршрутизацию моделей и контроль над корпоративными данными.
Как пишет Latent Space, одной из главных тем мероприятия стало усиление позиций open source LLM в качестве альтернативы крупным закрытым моделям. Осман считает, что разрыв между открытыми и frontier-моделями продолжает сокращаться. На воркшопах участникам показывали сравнение систем вроде DGX Spark и устройств на AMD Strix Halo, а затем сопоставляли их с облачными frontier-моделями по скорости, задержке, качеству ответов и производительности.
Осман отдельно подчеркнул, что локальный ИИ не ограничивается самой моделью, многое зависит от инфраструктуры вокруг нее. В качестве примера он привел тест с Qwen 3.5 и Claude Code. Локальная система не смогла выполнить задачу без доступа к интернет-поиску, потому что данные модели оказались устаревшими. После подключения поискового endpoint система справилась с задачей. По словам Османа, это показывает, насколько для агентных сценариев важны инструменты, поиск и дополнительная инфраструктура.
Ключевые факты
Ахмад Осман провел на AI Engineer World’s Fair двухчастный воркшоп по локальным LLM и workstation-агентам
На демонстрациях сравнивались системы DGX Spark, устройства на AMD Strix Halo и облачные frontier-модели
По словам Османа, отставание локальных и open source моделей от frontier-моделей составляет примерно от четырех до восьми месяцев
В примере с Qwen 3.5 и Claude Code локальная система смогла выполнить задачу только после подключения доступа к поисковому endpoint