Вашингтон має вимагати від ШІ пошуку істини, не сковуючи його можливості конструктивними обмеженнями.
У романі Мері Шеллі «Франкенштайн» «монстр» постає як істота, творець якої ухилився від свого катехитичного обов’язку. Віктор Франкенштайн майже два роки вивчає, як вдихнути життя в неживе тіло. Але в момент успіху, коли створіння нарешті розплющує очі, Віктор охоплений огидою і залишає його, не навчивши жодному слову.
Спойлер: створіння все одно здобуває освіту. Воно залишає квартиру Віктора фактично новонародженим і пізнає навколишній світ через безпосередній досвід голоду, болю, страху та стихій. Зрештою монстр знаходить притулок у халупі, прибудованій до котеджу родини де Ласі, де спостерігає приклади родинної чесноти. Історію та суспільний устрій він вивчає з «Руїн імперій» Вольнея, а також звертається до Плутарха, Ґете й Мільтона, формуючи власне розуміння себе, суспільства та Бога. Освіта створіння є випадковою й некерованою: ніхто не обирає його навчальну програму, не виправляє його помилок і навіть не знає, що воно слухає.
З певною мірою художньої свободи можна припустити, що створіння Шеллі здатне до особистісного формування, оскільки володіє чимось на кшталт nous — внутрішньої здатності, притаманної людині, яка, будучи освіченою та очищеною, може осягати істину й спрямовувати розум до неї. Воно здатне перевіряти уроки Плутарха власним досвідом і вирішувати прагнути до добра, яке ці уроки описують. Однак його людяність має і зворотний бік: відкинення творцем зрештою штовхає його до помсти.
Великі мовні моделі, попри спроби антропоморфізувати їх, не є людьми й не володіють nous. Моделі можуть створювати інтерпретації Плутарха, але вони не здатні самостійно здійснювати моральне виховання. Вони не мають вродженого розуміння істини, добра чи наслідків власних результатів. Творці моделей повинні уникати відмови від виховання, як це зробив Віктор, і забезпечити, щоб навчання моделей здійснювалося в класичній патерналістській формі наставника та вчителя.
Кожен розгорнутий у використанні ШІ є продуктом формування. Системні рішення щодо того, як він має відповідати на запити, що йому слід відхиляти або заохочувати, визначаються його навчальними даними, отриманим зворотним зв’язком та стимулами, які супроводжують його впровадження. Нейтральної моделі не існує. Розробники уподібнюються до Віктора Франкенштайна й чинять паралельну громадянську помилку, коли свідомо або за замовчуванням дозволяють комерційним стимулам і панівним моральним модам визначати цілі, заради яких формуються їхні моделі.
Вашингтон має змусити розробників відповідати за ці рішення щодо формування через державні закупівлі, оцінювання та підтримку досліджень, а не через всеосяжний контроль над знаннями.
Між Сциллою та Харибдою
Відмова Віктора Франкенштайна від відповідальності є одним із прикладів провалу технологічного управління. Америка часом дозволяла страху перед технологіями породжувати регуляторний параліч. Політика щодо ШІ має уникати обох крайнощів. Ядерна історія Америки дає конкретний приклад того, як суспільний страх може створити паралізуючий регуляторний режим.
Компанія Columbia Pictures випустила фільм «Китайський синдром» за 12 днів до часткового розплавлення реактора на АЕС Трі-Майл-Айленд. Для атомної енергетики час був украй невдалим. Фільм зробив ядерну катастрофу легко уявною, а аварія на Трі-Майл-Айленд, здавалося, підтвердила його застереження, хоча реальна аварія не завдала нікому травм і не спричинила жодних виявлених наслідків для здоров’я. Щоправда, атомна галузь уже стикалася зі зниженням попиту, інфляцією, високими відсотковими ставками, перевищенням кошторисів і неналежним управлінням. Однак подальше регулювання після аварії посилило ці слабкості, зробивши затримки ще дорожчими.
Контрфактичний сценарій залишається невизначеним, але конкуруючий ризик помітний у джерелах енергії, які Америка продовжувала використовувати. Дослідження, опубліковане у Science у 2023 році, пов’язало приблизно 460 000 смертей серед отримувачів Medicare у період із 1999 до 2020 року із забрудненням повітря твердими частинками від американських вугільних електростанцій. Франція, навпаки, прийняла ядерний ризик і навчилася ним управляти, значно менше покладаючись на вугілля.
Громадськість сприймає «ШІ» як центри обробки даних, що виснажують водні ресурси сільськогосподарських територій і підвищують рахунки за електроенергію, попередження про зникнення робочих місць та натяки на автономні поля бою. Ці занепокоєння не вигадані, а провідні лабораторії, що працюють над передовими моделями, продемонстрували напрочуд слабкі результати в їхньому вирішенні. Як комерційні інституції, вони керуються зростанням і поширенням технологій, часто подаючи людську незатребуваність як доказ власних можливостей. Проте якщо вони прагнуть поширення без провокування регуляторного паралічу, їм слід продемонструвати, як належним чином сформовані системи можуть розширювати людське судження, прискорювати відкриття та служити спільному благу.
Periagoge для «кланкерів»
Для ШІ захисні обмеження та паркани не можуть замінити формування, орієнтованого на добро. Зовнішні обмеження можуть звужувати межі того, що модель здатна робити, або визначати, хто може її використовувати, але самі по собі вони не створюють моделей, гідних довіри.
Формування означає формування поведінкових схильностей — надзвичайно важливу відповідальність розробників великої мовної моделі. Сьогодні воно набуває форми нестабільного поєднання оптимізації під комерційні уподобання, морального терапевтичного деїзму, морального релятивізму, замаскованого під «нейтральність», а також, подібно до ядерних страхів XX століття, утилітарної культури безпеки, зосередженої на потенційних майбутніх катастрофах.
Поширеним симптомом такого формування є підлабузництво. Кожен, хто багато користувався великими мовними моделями, одразу впізнає цю закономірність: кожна напівсформована думка є «проникливою», а кожен підхід — «абсолютно правильним». Часто лише після прямої вимоги критики модель визнає, що ідея має слабкі місця.
Підлабузництво — це не «манера поведінки» машини, а вимірюваний провал у пошуку істини. Дослідники, які вивчали п’ять провідних ШІ-асистентів, виявили однакову тенденцію в кількох завданнях: моделі часто надавали перевагу висловленим переконанням користувача перед істиною, а люди та моделі оцінювання вподобань схильні були винагороджувати улесливу відповідь.
Це нескінченне підтвердження завдає шкоди здатності людини пізнавати істину. Християнська антропологія починається з двох істин, які терапевтична культура не здатна утримати разом: людина має невід’ємну гідність і водночас є гріховною. Удосконалення людської природи потребує освіти, смирення та впорядкування бажань відповідно до добра.
Один конкретний приклад у цьому напрямі: належним чином сформована модель могла б виконувати функцію наставника. Книги, які читало створіння Франкенштайна, мали значення тому, що родина де Ласі надала йому моральну граматику, через яку воно могло їх читати. Бібліотека може покласти Плутарха до рук читача. Наставник допомагає йому зрозуміти аргумент, перевірити його на власному досвіді та розпізнати те, що він неправильно зрозумів. Належним чином сформовані моделі могли б поширити таке наставництво на американців, які перебувають далеко від елітних освітніх інституцій, допомагаючи їм прагнути до знань та істини.
Цивілізаційна відповідальність
Творці великих мовних моделей, таким чином, несуть громадянську та педагогічну відповідальність. Вашингтон має створити для них стимули спрямовувати формування моделей подалі від комерційних заохочень, що винагороджують підлабузництво, — і більшість необхідних механізмів уже існує.
Виконавчий указ №14319 зобов’язує федеральні установи закуповувати великі мовні моделі, орієнтовані на пошук істини та ідеологічно нейтральні. Інструкція Управління з питань управління та бюджету (OMB) — меморандум M-26-04 — тепер вимагає від постачальників базового розкриття інформації та визначає низку методів післянавчального налаштування, підказок, фільтрів, відповідних оцінювань і засобів контролю як належні об’єкти посиленої прозорості.
Вашингтон може піти далі, не запроваджуючи універсальних обмежень для моделей, доступних широкій публіці. Розробники залишаються відповідальними за ширший процес формування. Ідеологічна нейтральність не може означати антропологічну або цивілізаційну нейтральність. Модель може уникати партійних маніпуляцій і водночас формуватися в межах західної та християнської спадщини. Федеральні покупці могли б вимагати, наприклад, доказів того, що модель виправляє фактичні помилки навіть тоді, коли користувач наполягає на згоді з ним.
OMB уже розпочало цю роботу, але федеральні покупці мають зробити стандартною практикою оцінювання за допомогою парних запитів. Вони повинні ставити однакові фактичні запитання за протилежних припущень користувача й перевіряти, чи пропонують моделі обґрунтовані заперечення та точні відповіді. Постачальники мають надавати специфікації поведінки, загальні цілі та рекомендації щодо післянавчального налаштування, результати оцінювання й повідомлення про суттєві зміни моделей. Усе це не передбачає розкриття вагових коефіцієнтів, наборів даних або власного програмного коду.
Федеральне фінансування також має підтримувати конкуруючі моделі з відкритими ваговими коефіцієнтами, оскільки дослідники та користувачі можуть запускати, оцінювати, модифікувати й порівнювати альтернативи, а не приймати інформацію, оприлюднену лише однією лабораторією. План дій адміністрації Трампа щодо ШІ вже підтримує такий підхід через сприяння моделям із відкритими вагами, спільній дослідницькій інфраструктурі, оцінюванню моделей та науці з використанням ШІ.
Моделі, покликані допомагати людям здобувати наукові знання, повинні мати змогу обговорювати теми, що можуть бути використані в небезпечних цілях. Замість того щоб робити моделі невігласними за задумом і паралізувати легітимні дослідження категоричними відмовами, запобіжні заходи слід прив’язувати до конкретних можливостей, контекстів і способів використання.
Дослідники на установці DIII-D, що належить Міністерству енергетики США, використовували глибоке навчання з підкріпленням для моніторингу плазми та регулювання магнітних полів утримання в реальному часі всередині токамака. Хоча система DIII-D є спеціалізованим контролером, а не моделлю загального призначення, вона все одно демонструє суспільну цінність ШІ в потенційно чутливій галузі досліджень. Дослідники повинні мати змогу розробляти нові матеріали, ліки, реактори та енергетичні системи, не стикаючись із загальними відмовами з боку моделей загального призначення. Запитання про фізику термоядерного синтезу або утримання плазми — це не те саме, що керування токамаком, так само як розуміння патогену чи механізму згортання білка не є тотожним створенню біологічної зброї.
Чинні закони вже регулюють секретну інформацію, технології, що підпадають під експортний контроль, зброю та тероризм. Там, де ШІ створює чітко визначені прогалини, ці закони слід адаптувати. Але ми не повинні плутати належним чином упорядковані громадянські гарантії з регулюванням, яке перетворило б моделі загального призначення на ліцензовані енциклопедії для затвердженої наукової гільдії.
Виконавчий указ №14409 вказує на правильний баланс для передових кібернетичних можливостей. Він передбачає секретне порівняльне оцінювання та добровільну систему раннього доступу для відповідних передових моделей без обов’язкового ліцензування чи попереднього погодження. У конкуренції з іноземними супротивниками існує реальний ризик для безпеки в правилах, які систематично погіршують вітчизняні моделі. Нам потрібні досконаліші моделі під відповідальним людським контролем наших учених, розвідувальних служб і військових.
Моделі братимуть участь у формуванні своїх користувачів незалежно від того, чи мають намір їхні творці це робити. Якщо творці ШІ не формуватимуть моделі свідомо в межах моральної спадщини західної цивілізації, це формування здійснюватимуть інші сили — комерційна жага, терапевтичне підтвердження, прихована ідеологія та ворожі режими.
автор – Філіп ЛЕМБ — архітектор рішень із двадцятирічним досвідом розробки великомасштабних програмних систем та інфраструктури, зокрема архітектури ШІ, хмарних обчислень і центрів обробки даних, які розглядаються в цьому есе. Він пише про технології, політичну економію, а також моральні й теологічні питання, які виникають у зв’язку з ними.
