20 октября Google открыла исходный код TorchTPU — backend, который позволяет использовать фирменные ускорители TPU как вычислительное устройство внутри PyTorch, платформы для разработки и запуска нейросетей. Проект представили на конференции PyTorch Conference 2026.
TorchTPU, созданный совместно с командой PyTorch в Meta*, позволяет переносить существующие нагрузки на TPU с минимальными изменениями кода и использовать знакомые разработчикам интерфейсы. TPU регистрируется как стандартный тип устройства наряду с центральными и графическими процессорами. Backend поддерживает интерактивную отладку, оптимизацию через torch.compile и распределённые вычисления.
Google также интегрировала TorchTPU с библиотеками Hugging Face и движками vLLM и SGLang, которые используются для запуска языковых моделей. SGLang-TorchTPU уже работает в производственной инфраструктуре Meta. В репозитории проекта опубликованы примеры для моделей Llama, Qwen, ResNet и других, но для их выполнения требуется доступ к TPU.
Читайте также
Главное преимущество Nvidia связано не только с характеристиками чипов: многие приложения и инструменты уже рассчитаны на её графические процессоры. TorchTPU снижает программный барьер и позволяет проверять существующие PyTorch-нагрузки на ускорителях Google без создания отдельного приложения с нуля.
Похожий подход использует AWS: компания анонсировала открытый backend TorchNeuron для своих ускорителей Trainium. Оба проекта дают разработчикам привычные интерфейсы PyTorch для работы с альтернативными ИИ-чипами и усиливают конкуренцию облачных платформ с экосистемой Nvidia.
Для компаний из России практическое применение TorchTPU ограничено: платные сервисы Google Cloud им напрямую недоступны. Открытый код backend не заменяет сами ускорители и не позволяет запускать проект на обычных видеокартах.
* Деятельность Meta признана экстремистской и запрещена в РФ