Проблема нових чатів полягає не тільки в тому, що вони часто дурні та наївні; річ у тому, що вони недостатньо «дурні» чи «наївні», щоб уловлювати нюанси, іронію та навмисні протиріччя, які мають серйозне значення для людської культури та комунікації. Найгірше, покладаючись на них, ми ризикуємо самі опинитися в дурнях.
Немає нічого нового в чат-ботах, які здатні підтримувати розмову природною мовою, розуміти наміри користувача та пропонувати відповіді на основі заданих правил та отриманих даних. Але в останні місяці можливості таких чат-ботів різко зросли настільки, що в багатьох колах викликало заламування рук і навіть паніку.
Багато було сказано, що чати означають кінець традиційного студентського есе. Але питання, яке вимагає більш пильної уваги, полягає в тому, як чати повинні реагувати, коли співрозмовники використовують агресивні, сексистські або расистські висловлювання, щоб змусити бота поганословити у відповідь. Чи повинен ШІ бути запрограмований відповідати так само, як його запитують? Якщо ми вирішимо, що потрібне якесь регулювання, ми маємо визначити, наскільки далеко має зайти цензура. Чи заборонять політичні позиції, які деякі групи громадян вважають «образливими»? А як щодо висловлювання солідарності з палестинцями чи заяв про те, що Ізраїль є державою апартеїду (що колишній президент США Джиммі Картер,одного разу включив у назву книги)? Чи будуть вони заблоковані як «антисемітські»?
Але на цьому проблеми лише починаються. Як попереджає художник і письменник Джеймс Брідл, новий ШІ «заснований на масовій культурній апропріації», і віра в те, що він «насправді має знання або здатний осмислено спілкуватися, дуже небезпечно». Отже, ми також повинні дуже обережно ставитись до нових генераторів зображень ШІ. «Намагаючись зрозуміти і відтворити всю людську візуальну культуру, — зауважує Брідл, — [він], здається, відтворив і наші похмурі страхи. Можливо, це просто ознака того, що ці системи справді дуже добре вміють наслідувати людську свідомість, аж до того жаху, який приховується в екзистенційних глибинах: наших страхів перед брудом, смертю та розкладанням».
Але наскільки добре новий ШІ наближений до людської свідомості? Візьмемо бар, який нещодавно рекламував спеціальний напій з такими умовами: «Купіть одне пиво за ціною двох,та отримайте друге – абсолютно безкоштовно!» Для будь-якої людини це, очевидно, жарт. Класична акція «купи одне та отримай ще одне» переформульована, щоб скасувати саму себе. Цей гумористичний, але чесний цинізм зростання продажів. Але чи зрозуміє його чат-бот? Вираз “fuck” представляє аналогічну проблему. Хоча воно означає те, що більшості людей подобається робити (сукупність), воно також часто набуває негативного забарвлення. Мова та реальність змішані. Чи готовий ШІ вловлювати такі відмінності?
У творі 1805 року «Про поступове формування думок у процесі промови» (вперше опублікованому посмертно в 1878 році) німецький поет Генріх фон Клейст перевертає розхожу думку про те, що не слід відкривати рота, щоб говорити, якщо у вас немає ясного уявлення про що сказати : «Якщо думка виражена неясно, то зовсім не слід, що ідея ця була зачата неясно. Навпаки, цілком можливо, що ідеї, виражені найбільш заплутано, якраз і були обдумані найяснішим чином».
Відносини між мовою та мисленням надзвичайно складні. В одному з виступів на початку 1930-х років Сталін пропонує радикальні заходи: «виявити і нещадно боротися навіть з тими, хто виступає проти колективізації тільки у своїх думках, так, я маю на увазі, ми повинні боротися навіть з думками» [1]. Можна упевнено припустити, що ці слова не були підготовлені заздалегідь. Сталін трохи захопився, але відразу ж усвідомив, що він щойно сказав. Але замість того, щоб визнати помилку, він вирішив дотримуватися своєї гіперболи.
Як пізніше висловився Жак Лакан, це був випадок, коли істина зненацька з’являється в акті висловлювання. Луї Альтюссер виявив аналогічний феномен у взаєминах між призом та сюрпризом. Для того, хто раптом схоплює (отримує як приз) ідею, її зміст виявиться свого роду сюрпризом. Знову ж таки, чи може подібне трапитися з чат-ботом?
Проблема не в тому, що чат-боти дурні; річ у тому, що вони недостатньо «дурні». Справа не в тому, що вони наївні (відсутня іронія та рефлексивність); річ у тому, що вони недостатньо наївні (коли наївність маскує проникливість). Таким чином, реальна небезпека полягає не в тому, що люди приймуть чат за реальну людину; річ у тому, що спілкування з чатами змусить реальних людей говорити як чати — упускаючи всі нюанси та іронію, нав’язливо кажучи лише те, що, на їхню думку, вони хочуть сказати.
Коли я був молодшим, мій друг звернувся до психоаналітика за лікуванням після травматичного досвіду. Уявлення мого друга про те, що саме такі аналітики очікують від своїх пацієнтів, було відвертим кліше, тому свій перший сеанс він провів, вимовляючи фальшиві «вільні асоціації» про те, як він ненавидів свого батька та бажав його смерті. Реакція аналітика була винахідливою: він зайняв наївну «дофрейдистську» позицію і дорікнув моєму другу неповагу до батька («Як ти можеш так говорити про людину, якій ти стільки зобов’язаний?»). Ця вдавана наївність посилала чіткий сигнал: я не купуюся на ваші фальшиві асоціації. Чи зможе чат-бот вловити цей підтекст?
Швидше за все, ні, бо це схоже на інтерпретацію Ровена Вільямса, князя Мишкіна в «Ідіоті» Достоєвського. Згідно зі стандартним прочитанням, Мишкін, «ідіот», — це свята, «позитивно добра і гарна людина», яку жорстокість і несправедливість реального світу доводять до самотності та божевілля. Але в радикальному перечитанні Вільямсом Мишкін є «око бурі»: хоч би яким добрим і святим він здавався, саме його присутність викликає хаос і смерть, свідком яких він стає завдяки своїй ролі у складній мережі відносин, сформованих навколо нього.
Справа не тільки в тому, що Мишкін – наївний простак. Справа в тому, що його специфічна наївність залишає його в невіданні про згубні наслідки його вчинків для інших. Він плоский чоловік, який буквально говорить як чат. Його «доброта» полягає в тому, що він, подібно до чату, без жодної іронії, реагує на проблеми, пропонуючи у відповідь позбавлені будь-якої рефлексії банальності, сприймаючи все буквально і покладаючись на ментальне «автозаповнення», а не на автентичне мислення. З цієї причини нові чат-боти дуже добре уживуться з ідеологами всіх мастей, від натовпу прихильників культури пильності до прихильників Трампа, які вважають за краще залишатися в «сплячому режимі».
[1] Жижек цитує власну книгу “Less Than Nothing Hegel And The Shadow Of Dialectical Materialism”. Verso, 2012. P. 575
Переклад – ПолітКом
Джерело тут
