Сучасні великі мовні моделі, які здатні генерувати та інтерпретувати тексти, переважно базуються на архітектурі трансформерів з механізмами самоуваги. Проте їхнє навчання та запуск вимагають значних обчислювальних ресурсів і енергії, що ускладнює застосування в пристроях з обмеженими можливостями, таких як вбудовані системи чи edge-пристрої.
Що таке reservoir computing і чим він відрізняється?
Reservoir computing — це підхід, у якому рекурентна динамічна система залишається незмінною, а навчання відбувається лише у відносно легких вихідних компонентах. Це робить його привабливим для реалізації на електронному, аналоговому, нейроморфному або фотонному апаратному забезпеченні. На відміну від трансформерів, де тренується велика кількість параметрів, reservoir computing знижує обчислювальне навантаження на цифрові компоненти.
Порівняння архітектур у мовному моделюванні
Дослідники порівняли традиційний reservoir computer, attention-enhanced reservoir computer (AERC) та трансформер на задачі передбачення наступного символу в тексті. Результати показали, що хоча трансформер досяг найкращих показників точності, attention-enhanced reservoir computer продемонстрував близькі результати, при цьому споживаючи менше обчислювальних ресурсів.
Також була розроблена нова архітектура layered attention-enhanced reservoir computing (LAERC), де фіксовані рекурентні резервуари замінюють механізми самоуваги трансформера, а легкі треновані компоненти виконують додаткову обробку та уточнення представлень. Цей підхід успішно застосували для моделювання на рівні токенів із набору даних OpenWebText.
Перспективи застосування та розвиток
Хоча трансформери наразі забезпечують кращу продуктивність при порівнянній кількості параметрів, reservoir computing відкриває нові можливості для створення мовних моделей, особливо у випадках обмежених обчислювальних ресурсів або складного апаратного забезпечення.
Дослідники відзначають потенціал реалізації фіксованої динаміки reservoir computing безпосередньо у фізичних системах — електронних, оптичних чи нейроморфних. Це може дозволити частково перенести обчислення з енергоємних цифрових процесорів на більш ефективні фізичні субстрати, що сприятиме створенню компактних і енергоефективних мовних технологій для edge-пристроїв та інших застосувань.
Джерело: techxplore.com
