Компанія Google розширила лінійку восьмого покоління тензорних процесорних блоків (TPU) двома новими системами: TPU 8i Max і TPU 8tx. Ці рішення орієнтовані на масштабні контекстні завдання та безпечне конфіденційне машинне навчання відповідно. Вони працюють у хмарних TPU-системах Google і не є новими чіпами, а новими конфігураціями існуючого апаратного забезпечення.
TPU 8i Max: подвоєна потужність для великих контекстів
TPU 8i Max поєднує два TPU 8i-чіпи в одному пакеті, що дозволяє подвоїти обчислювальну потужність, обсяг SRAM та пропускну здатність HBM у порівнянні з одиночним TPU 8i. Кожен TPU 8i має продуктивність близько 10.1 PFLOPS у форматі FP4, 384 МБ вбудованої SRAM та 288 ГБ HBM з пропускною здатністю 8,6 ТБ/с. Таким чином, TPU 8i Max теоретично забезпечує близько 20.2 PFLOPS, 768 МБ SRAM і 17.2 ТБ/с пропускної здатності. Ця система оптимізована для задач, що вимагають обробки великих обсягів даних, наприклад, роботи з цілими кодовими базами або тривалими відео.
TPU 8tx: конфіденційне машинне навчання для регульованих секторів
TPU 8tx базується на силіконі TPU 8t і доповнений процесорами 5-го покоління AMD EPYC. Головна особливість TPU 8tx – підтримка конфіденційного інференсу, що дозволяє захищати дані та ваги моделей навіть під час активної обробки. Зазвичай дані розшифровуються у пам’яті для обробки, але TPU 8tx мінімізує цей ризик, забезпечуючи безпеку без значного впливу на затримки. Система також підтримує тонке налаштування, дистиляцію та підкріплене навчання на одному кластері, що виключає необхідність передачі чутливих даних між різними середовищами.
Оновлення програмного стеку TPU
Google також оновила програмне забезпечення для TPU. Відкритий проєкт TorchTPU тепер підтримує запуск моделей PyTorch і Hugging Face безпосередньо на TPU. Додатково розроблено TPU Sync – бібліотеку для ефективного управління кешем ключ-значення між різними рівнями пам’яті, що значно знижує затримки передачі даних. Інші інструменти, як Agent Compute Engine, дозволяють оптимізувати використання пам’яті та ресурсів під час роботи агентів машинного навчання.
Порівняння з іншими рішеннями
TPU 8i Max і TPU 8tx позиціонуються як рішення для специфічних завдань: масштабного контекстного інференсу та конфіденційного інференсу відповідно. TPU 8i Max подвоює показники TPU 8i, тоді як TPU 8tx забезпечує до двох разів менші затримки порівняно з TPU 8t. Обидві системи планують запустити у виробництво у 2027 році.
Джерело: www.marktechpost.com
