Відомий лауреат премії Тюрінга Річард Саттон, автор концепції «гіркого уроку», висловив сумніви щодо ефективності простого масштабування великих мовних моделей (LLM) для розвитку штучного інтелекту. Він підкреслює, що лише збільшення обчислювальних ресурсів не призведе до істинного інтелекту, а наука про AI потребує нових, більш розумних методів навчання.
Чому масштабування LLM не є панацеєю
У своїй відомій роботі 2019 року Саттон стверджував, що загальні методи, які ефективно масштабуються з обчислювальною потужністю, зрештою перевершать складні підходи, створені людиною. Проте він також зауважує, що сучасні мовні моделі не продовжують навчатися після початкового тренування і не враховують безмежну складність реального світу. Зокрема, він критикує використання синтетичних даних, називаючи це «великою помилкою», оскільки симуляції не можуть охопити всю реальність.
Погляди інших дослідників на обмеження масштабування
Дослідник Джеррі Творек, який залишив одну з провідних AI-компаній, погоджується з Саттоном, але додає, що зі збільшенням обчислювальних ресурсів алгоритми стають все важливішими. Він вказує, що сліпе масштабування трансформерів призвело до «зловживання винагородою» серед науковців і що багато аспектів масштабування залишаються не дослідженими.
Інший дослідник, Джейден Тео, звертає увагу на те, що суворе дотримання «гіркого уроку» іноді стримує академічні дослідження, оскільки багато перспективних ідей відкидаються за відхилення від його духу. Він закликає дослідницьку спільноту не ігнорувати такі ідеї, адже вони можуть бути важливим внеском у розвиток AI, навіть якщо не витримують масштабування вічно.
Нові стартапи та альтернативні підходи до AI
Ця дискусія відображається у зростаючій кількості стартапів, які шукають нові алгоритми навчання поза межами традиційного попереднього тренування та підкріпленого навчання. Серед них є лабораторії, які підтримує і сам Саттон, що свідчить про віру в потенціал більш здатного AI, який не обмежується нинішніми методами масштабування.
Позиція провідних AI-компаній
Водночас керівники провідних AI-компаній, таких як OpenAI та Anthropic, вважають, що масштабування великих мовних моделей ще далеке від завершення. Вони наводять приклади успіхів, зокрема, розв’язання складних математичних задач, як доказ ефективності поточного підходу. Вони визнають корисність моделей світу для робототехніки, але наголошують на перевагах подальшого масштабування LLM.
Джерело: the-decoder.com
