Ахмад Осман: локальный ИИ быстро сокращает отставание от закрытых моделей

Основатель Osmantic Ахмад Осман выступил на AI Engineer World’s Fair с серией воркшопов о локальном ИИ и запуске моделей на собственных компьютерах, рабочих станциях и специализированном оборудовании. По его словам, интерес к таким системам заметно вырос. Среди участников были не только энтузиасты железа, но и студенты, а также руководители компаний, изучающие приватную инфраструктуру, маршрутизацию моделей и контроль над корпоративными данными.

Как пишет Latent Space, одной из главных тем мероприятия стало усиление позиций open source LLM в качестве альтернативы крупным закрытым моделям. Осман считает, что разрыв между открытыми и frontier-моделями продолжает сокращаться. На воркшопах участникам показывали сравнение систем вроде DGX Spark и устройств на AMD Strix Halo, а затем сопоставляли их с облачными frontier-моделями по скорости, задержке, качеству ответов и производительности.

Осман отдельно подчеркнул, что локальный ИИ не ограничивается самой моделью, многое зависит от инфраструктуры вокруг нее. В качестве примера он привел тест с Qwen 3.5 и Claude Code. Локальная система не смогла выполнить задачу без доступа к интернет-поиску, потому что данные модели оказались устаревшими. После подключения поискового endpoint система справилась с задачей. По словам Османа, это показывает, насколько для агентных сценариев важны инструменты, поиск и дополнительная инфраструктура.