TorchTPU: нативный PyTorch для чипов Google

Google представил TorchTPU — нативную поддержку фреймворка PyTorch для Tensor Processing Units. До сих пор разработчики, желающие использовать TPU, должны были адаптировать код с PyTorch (стандарт индустрии) на JAX (фреймворк Google). TorchTPU устраняет этот барьер: существующий PyTorch-код запускается на TPU без переписывания.

Почему это критично

PyTorch — доминирующий ML-фреймворк: по данным Papers with Code, более 80% исследовательских статей используют PyTorch. Экосистема библиотек, моделей и инструментов построена вокруг него. Требование «перепишите на JAX, чтобы использовать наши чипы» было главным барьером для миграции на TPU. TorchTPU снимает его.

Параллельно Google объявил об оптимизированной поддержке vLLM — самого популярного open-source движка для инференса LLM — на GPU и TPU. vLLM + TPU = быстрый и дешёвый инференс для open-source моделей (Llama, Qwen, Gemma) на инфраструктуре Google Cloud.

Для ML-инженеров и исследователей — снижение порога перехода на TPU. Для Google Cloud — расширение потенциальной аудитории: все, кто пишет на PyTorch (то есть практически все), теперь — потенциальные клиенты TPU. Стратегия: убрать технические барьеры и конкурировать ценой и производительностью, а не замыкать пользователей в проприетарной экосистеме.