Допомога і шкода є однією подією, і на рівні інституцій ШІ вже підточує судження, від якого залежить добре врядування.
Протягом десятиліття дискусія про штучний інтелект була організована навколо одного питання: це загроза чи можливість? Питання здається вичерпним, ніби це дві дороги і наше завдання — обрати між ними. Але це не так. Користь і шкода породжуються тим самим механізмом і в той самий момент. Кожного разу, коли система ШІ виконує завдання за нас, результат часто кращий, ніж той, якого ми досягли б самі, і в той самий момент ми не використовуємо здатність, яку це завдання від нас вимагало б. Допомога є реальною. Так само реальною є ерозія. Це два описи однієї події, і саме тому найбільший ризик ШІ — не в тому, що він робить погано, а в тому, що він робить добре.
Це має найбільше значення для інституцій, і там це важливо у спосіб, який легко не помітити. Ми схильні уявляти міністерство, суд, регулятора або національне наукове агентство як структуру, що використовує людське судження. Точніше сказати, що інституція і є людським судженням, накопиченим і організованим: знання того, який аргумент вплине на якого міністра, який прецедент керує незвичайною справою, який рядок у бюджеті приховує реальну проблему. Це те, що філософ Майкл Полані називав неявним знанням — таким, яким ми володіємо, але не можемо повністю сформулювати, — і те, що соціолог Гаррі Коллінз називав його колективною формою, яка зберігається не в одній людині, а в спільноті та її взаєминах. Воно формується повільно, протягом десятиліть навчання і повторення; воно існує в людях, а не в документах; і його можна втратити за один бюджетний цикл. Втрачене одного разу, воно не може бути повернуте за вимогою.
ШІ підточує це накопичене судження за передбачуваною траєкторією. Він входить як інструмент підвищення продуктивності, і вигоди реальні: випробування у Великій Британії за участю 20 000 державних службовців показало, що помічник на основі ШІ заощаджує кожному з них приблизно 26 хвилин на день, майже два тижні на рік. Але ці вигоди створюють власний тиск. Якщо той самий обсяг роботи можна виконати з меншою кількістю людей, люди стають витратами, і першими скорочуються саме молодші посади, результати яких ШІ найлегше відтворює — а це якраз ті ролі, де відпрацьовується і передається судження.
Інституція цього не помічає, бо результат зберігається. Насправді ж вона тихо припиняє виробляти власне майбутнє судження. З часом вона все ще може створити довідку чи рішення, але лише через систему, і більше не має людей, які могли б визначити, коли впевнений і добре оформлений результат є помилковим. Коли система помиляється, як рано чи пізно робить кожна система, залишається занадто мало тих, хто може це виявити, а ті, хто залишився, втратили необхідну для цього вправність. Це стара іронія автоматизації: чим більше система перебирає на себе, тим менш здатною стає людина втрутитися в той рідкісний момент, коли це найбільш потрібно. Авіація це засвоїла і тепер підтримує навички пілотів ручним керуванням. Більшість інституцій, що впроваджують ШІ, не створили подібної дисципліни.
Наукове консультування — процес, через який докази впливають на політику — є найяскравішим прикладом, і він близький до дому в Європі. ШІ вже охоплює весь ланцюг від доказів до рішень, і те, що він там загрожує, — це саме той тип судження, який не зберігається в документах: розуміння того, яке формулювання почує конкретний міністр, які докази є контекстуально релевантними, а не просто істинними, які стейкхолдери тихо заблокують рекомендацію незалежно від аналізу. ШІ справді безпечний у частинах цієї роботи з великим обсягом і низьким рівнем судження — відборі джерел, первинній класифікації, створенні прогнозів, які щодня звіряються з реальністю. Він небезпечний при формулюванні варіантів у міністерських довідках, де формулювання визначає те, що стає політично мислимим, і де немає «ґрунтовної істини», яка могла б це виправити. Європейські інституції, створені протягом десятиліть на основі незалежної оцінки — у сфері безпеки харчових продуктів, контролю захворювань і досліджень, що лежать в основі політики Союзу, — є накопиченим людським капіталом, дорогим у створенні і легким для руйнування під тиском бюджету та ілюзії, що машина є рівноцінною.
Інституції руйнуються швидше, ніж індивіди, з двох структурних причин. Людина, яка відчуває, що занадто покладається на інструмент, може усвідомити власне ослаблення і вирішити зупинитися. Інституція стикається з протилежним тиском, адже заміщення економить кошти, а баланс не відчуває ослаблення. Економія є негайною і вимірюваною; вартість — втрата спроможності — відкладена і припадає на майбутнє, за яке жоден нинішній ухвалювач рішень не відповідає. І ця втрата не має власника. Менеджер, який автоматизує команду, виконує бюджетну ціль; керівник, який це схвалює, покращує квартальні показники. Ніхто не відповідає за те, чи зможе інституція функціонувати без системи через п’ять років, бо це не входить у чиїсь цілі і не вимірюється жодним інструментом.
Це найглибша частина проблеми: ерозія не подає сигналу. Майже кожен показник, який інституція застосовує до себе — пропускна здатність, рівень послуг, результат — вимірює саме те, що ШІ надійно підтримує. Панель залишається «зеленою» саме тому, що вона прив’язана до результату, тоді як фундамент під нею руйнується. Головний регуляторний інструмент Європи — Акт про ШІ — оцінює системи поодинці, за індивідуальним ризиком. Це розумно щодо шкоди, яку може завдати одна система, але структурно сліпо до цієї шкоди, яка виникає не від однієї системи, а від сукупної ваги десятків непримітних систем у щоденній роботі інституції. В екологічній політиці ми навчилися не оцінювати забруднювач, тестуючи кожне джерело окремо, а вимірювати загальне навантаження. Ця логіка ще не застосована до ШІ.
Відповідь полягає не в тому, щоб використовувати менше ШІ — це ні неможливо, ні небажано. Потрібно розглядати інституційну спроможність як капітал, який ШІ виснажує і який необхідно свідомо відновлювати. Два заходи зробили б більшу частину роботи. Перший — вимірювати спроможність, а не лише результат: періодично і цілеспрямовано перевіряти, що люди в інституції все ще можуть робити без системи, і відстежувати розрив між їхньою роботою з допомогою і без неї. Назвімо це індексом залежності. Дивовижно, але це показник, який майже жодна інституція не фіксує, хоча саме він показав би траєкторію, поки ще є час діяти. Другий — захищена межа, навмисно і заздалегідь проведена між завданнями, які ШІ може безпечно поглинати, і тим судженням, яке він ніколи не повинен непомітно замінювати — замість того, щоб дозволяти цій межі розчинятися від випадку до випадку, поки вона не зникне і ніхто не вирішить її зникнення.
Нічого з цього технічно не є складним. Складність — у волі діяти на основі структурного попередження до того, як шкода стане незаперечною. Доказ, якщо чекати на нього, з’явиться у вигляді інституцій, що провалюються у складних випадках і не знаходять нікого, хто міг би це помітити, і у вигляді покоління державних органів, настільки залежних, що вони більше не можуть уявити виконання суджень, які передали системам. Було б гіркою іронією, якби, у прагненні до ефективності, Європа знищила ту саму спроможність, від якої залежить її здатність управляти.
автор – Владімір ШУХА — запрошений науковий співробітник Європейського університетського інституту у Флоренції та засновник ResilientCore — платформи знань про людську агентність в епоху ШІ. Раніше обіймав різні посади в Європейській Комісії, зокрема посаду генерального директора Спільного дослідницького центру Європейської Комісії, та був співредактором Science for Policy Handbook.
переклад ПолітКом
