Managed Lustre: 10 ТБ/сек — хранилище Google для AI

Google Cloud запустил Managed Lustre — полностью управляемую версию высокопроизводительной файловой системы Lustre, оптимизированную для AI-рабочих нагрузок. Пиковая пропускная способность — 10 терабайт в секунду. Для контекста: это как прочитать всю библиотеку Конгресса (26 миллионов книг) за 3 секунды.

Зачем такая скорость

Обучение крупных AI-моделей — это не только вычисления, но и данные. Терабайты текста, изображений, видео и кода должны загружаться в память GPU/TPU непрерывно. Если хранилище не успевает — вычислительные чипы простаивают, а стоимость обучения растёт. 10 ТБ/сек гарантирует: данные подаются на чипы быстрее, чем те их обрабатывают.

Managed Lustre — часть стратегии AI Hypercomputer: Google строит не отдельные компоненты (чипы, сеть, хранилище), а оптимизированный стек, где всё работает вместе. TPU 8t/8i → Virgo Network → Managed Lustre — каждый уровень проектируется с учётом остальных.

Для клиентов Google Cloud преимущество — отсутствие необходимости строить и управлять Lustre самостоятельно. Lustre — мощная, но сложная файловая система, традиционно требующая специализированных инженеров. «Managed» снимает операционную нагрузку: Google управляет кластером, клиент получает API и производительность.