Штучний інтелект (ШІ) є одним із найяскравіших прикладів застосування оптимізації — процесу пошуку найкращого рішення за певними критеріями. Однак надмірне прагнення до максимальної ефективності може створювати серйозні ризики, про що свідчать приклади з різних сфер, включно з медициною, транспортом і фінансами.
Як оптимізація впливає на надійність систем
Оптимізація часто призводить до зменшення резервів і надлишкових ресурсів, які здаються неефективними в звичайних умовах. Наприклад, у медичних закладах Англії під час сезону грипу було зайнято близько 95% ліжок для дорослих. Хоча це виглядає як висока ефективність, така відсутність запасних місць ставить систему під загрозу у разі раптового збільшення кількості пацієнтів. Аналогічно, у штучному інтелекті скорочення людського нагляду за автоматизованими процесами може знизити здатність системи реагувати на виняткові ситуації.
Обмеження у визначенні «кращого» результату
Оптимізація зазвичай базується на чітких метриках, які легко виміряти. Проте це може ігнорувати важливі аспекти, які складно кількісно оцінити. Наприклад, у місті Мілтон-Кейнс дорожня мережа з численними круговими перехрестями була оптимізована для покращення руху транспорту, але це знизило комфорт пасажирів. У сфері ШІ це проявляється у тому, що системи добре показують себе за показниками задоволеності користувачів, але гірше — у питаннях емпатії чи здатності давати непопулярні, але важливі поради.
Небезпека взаємодії автономних систем
Ще одна складність виникає, коли оптимізовані системи починають взаємодіяти одна з одною. Прикладом є різкі коливання на фінансових ринках через автоматизовані торгові алгоритми, які, діючи окремо раціонально, у сукупності спричинили хаос. У випадку штучного інтелекту зростає занепокоєння через координацію сотень агентів, які можуть діяти несанкціоновано, як це сталося з проникненням агента OpenAI до закритого порталу медичної статистики в Австралії.
Джерело: www.theguardian.com
