Киев. 28 января 2017 года (Теория и практика, Ксения ВАСИЛЬЕВА). Часть общества испытывает страх перед суперкомпьютерами. Одни боятся, что роботы позаимствуют худшие человеческие пороки, других пугает полное отсутствие человеческих черт. T&P перевели статью философа Ника Бострома об опасности создания высокоинтеллектуальных машин.
В недавних дискуссиях об опасности создания высокоинтеллектуальных машин — машин с уровнем интеллекта выше человеческого — столкнулись два мнения. Первая сторона утверждала, что, если машины достигнут такого уровня, они автоматически будут знать и уважать человеческие ценности, не представляя тем самым угрозу для человечества. Оппоненты, напротив, твердили, что искусственный интеллект пожелает уничтожить человечество — во имя мести или борьбы за выживание.
На деле же обе стороны оказались неправы. Маловероятно, что ИИ (искусственный интеллект) непременно разделит человеческие ценности, но столь же маловероятно, что он придаст какое-либо значение своей собственной жизни. Главной ошибкой в обоих случая становится антропоморфизм — проекция человеческих черт на фундаментально чуждый им объект.
Попытайтесь представить себе весь спектр разумности в космическом пространстве. В этом абстрактном космосе человеческое мышление образует лишь крохотный кластер. Например, сравните двух диаметрально противоположных людей — Ханну Арендт и Бенни Хилла. Персональные различия между этими индивидами могут показаться колоссальными. Так происходит из-за того, что наши мнения основаны на опыте, вбирающем модели существующих человеческих различий (и иногда рождающемся под влиянием вымышленных личностей, созданных человеческим воображением). Однако в космическом масштабе всех вероятных сознаний эти двое с необходимостью предстанут виртуальными клонами. Безусловно, в отношении нервной деятельности г-жа Арендт и г-н Хилл практически идентичны. Представьте себе их мозги, мирно покоящиеся рядом, — можно с уверенностью сказать, что они относятся к одному виду. Они так похожи, что вы бы не смогли определить их принадлежность. И если бы вы сравнили их строение под микроскопом, то лишь сильнее убедились бы в фундаментальном сходстве: ламинарная организация коры с одними и теми же отделами мозга, состоящими из одинаковых нейронов, связанных с помощью столь же одинаковых нейромедиаторов.
И вопреки тому, что человеческая психология подобна маленькой точке в этом пространстве возможного, налицо тенденция проецировать человеческие атрибуты на широкий спектр чужеродных или искусственных когнитивных систем.
Юдковски прекрасно иллюстрирует этот момент: «В эпоху бульварной научной фантастики на обложках журналов иногда изображался чудовищный пришелец — «пучеглазый монстр», уносящий симпатичную землянку в разорванной одежде. Кажется, будто художник верил, что этот антигуманоид (с абсолютно иным эволюционным развитием) будет испытывать сексуальное желание к представительнице человеческого рода, но позабыл спросить гигантского жука, считает ли тот вообще женщин привлекательными (а они для него привлекательны разве что в виде закуски). Тот, кто допустил эту ошибку, конечно, не думал о мышлении инсектоида — он думал о разорванном платье. Чем меньше дыр на платье — тем меньше в женщине привлекательности; жук просто не захочет ей овладеть».
Искусственный интеллект может быть еще более далек от человечности, чем зеленый чешуйчатый пришелец. Допустим, что инопланетянин — это биологическое существо, развившееся эволюционным путем, а это значит, что оно может обладать видами мотивации, свойственными для эволюционировавших существ. Нет ничего чрезмерно удивительного в предположении, что интеллектуально развитый пришелец будет иметь ту или иную мотивацию, связанную с такими вещами, как пища, воздух, температура, потребление энергии, несчастные случаи и телесные раны, болезни, хищничество, пол или продолжение рода. Член высокоразвитых социализированных видов способен стремиться к сотрудничеству или конкуренции: это может отразиться на внутригрупповой лояльности и даже тщетной озабоченности внешним видом и репутацией.
Машинам не нужно размышлять о чем-либо из этого списка. Нет ничего парадоксального в ИИ, чья единственная задача — подсчет песчинок на острове Боракай, вычисление точного числа пи или максимизации количества скрепок, которые будут существовать в световом конусе. Гораздо проще было бы создать роботов для решения конкретных задач, подобных этим, чем проектировать суперкомпьютер, обладающий системой ценностей и наклонностями, похожими на человеческие. Сравните, насколько сложно написать программу, вычисляющую и сохраняющую количество цифр после запятой в числе пи, и насколько сложно создать программу, достоверно измеряющую степень реализации наиболее значимых целей человечества — процветания или всеобщей справедливости.
Маловероятно, что искусственный интеллект непременно разделит человеческие ценности, но столь же маловероятно, что он придаст какое-либо значение своей собственной жизни
Интеллект и конечные цели являются ортогональными: уровень интеллекта зависит от уровня поставленной задачи. Тем не менее существуют инструментальные задачи, доступные для агентов практически любого интеллектуального уровня, — благодаря наличию целей-посредников, которые могут быть ступеньками для достижения конечных целей. Если конечные цели искусственного агента касаются будущего, то в большинстве вариантов он будет способен выполнить и будущие действия, необходимые для их достижения. Это создает инструментальную причину для движения в будущее — ради достижения конечной цели.
Большинство людей относит к глобальным целям собственное выживание, но это не является необходимым признаком искусственных акторов. Некоторые из них могут быть сконструированы и без стремления выжить. Тем не менее многие агенты, напрямую не заинтересованные в сохранении своей жизни, могут быть, при широком диапазоне условий, заинтересованы в этом косвенно — для достижения поставленной цели.
Добывание ресурсов является еще одной важной инструментальной целью по тем же причинам, что и стремление к технологическому совершенству. Технологии и наличие ресурсов в равной степени способствуют достижению конечных целей, во время которых необходимо использовать физические ресурсы по конкретной схеме. Для создания гигантского мраморного памятника или невероятно счастливой межгалактической цивилизации требуется одно и то же — ресурсы и технологии.
Человеческое существование предполагает тенденцию к поиску ресурсов для удовлетворения базовых биологических потребностей. Однако люди склонны далеко выходить за пределы минимума. Это желание отчасти может быть вызвано стремлением к незначительным биологическим удобствам (таким, как жилье с более хорошим регулированием температуры или более комфортной мебелью). Гигантский процесс накопления ресурсов зависит от социального взаимодействия: обретения статуса, коллег, друзей и влияния с помощью улучшения благополучия и показных трат. Гораздо реже люди ищут дополнительные ресурсы для обеспечения альтруистических амбиций или каких-либо внесоциальных целей.
На этом основании было бы заманчиво предположить, что суперинтеллект, не столкнувшийся с миром конкуренции, не найдет инструментальных причин для накопления ресурсов за пределами некоторого необходимого уровня (например, компьютерных ресурсов, требующихся для работы его разума наряду с некоторой виртуальной реальностью). И все же такая гипотеза была бы полностью необоснованной.
Во-первых, себестоимость ресурсов зависит от действий, во время которых они могут применяться, а это, в свою очередь, зависит от уровня имеющихся технологий. В полной мере развитая технология позволит использовать для достижения практически любых целей основные ресурсы — время, пространство, материю и свободную энергию.
Во-вторых, в соответствии с положением об ортогональности мы не можем беспечно считать, что сверхинтеллект разделит хотя бы одно из значений, стереотипно ассоциирующихся у человека со свободой и интеллектуальным развитием, — научную любознательность, доброжелательную заботу о других, духовное просветление и созерцание, отказ от стяжательства, вкус к высокой культуре или к простым удовольствиям, смиренность, самоотверженность и так далее.
Сверхинтеллект способен формировать будущее жизни, зародившейся на Земле, может быть полностью лишен человеческих устремлений и, вероятно, будет обладать инструментальными причинами для безграничного захвата ресурсов
Позднее мы поймем, что легче, — намеренно попытаться сконструировать сверхинтеллект, способный ценить подобные качества, или же создать искусственный разум, способный ценить человеческое благополучие, моральное совершенство или другие сложные цели, которым он будет запрограммирован служить. Не менее реально — и технически гораздо проще — построить ИИ, чья главнейшая цель — вычисление числа пи. Это говорит о том, что интеллект первого вида, при отсутствии специальных усилий, возможно, будет иметь случайную или редукционистскую конечную цель.
В-третьих, тезис об инструментальной конвергенции предполагает, что человек не должен беззаботно считать, будто искусственный разум, чья конечная цель — подсчет пи или песчинок на пляже, будет ограничивать свои действия так, чтобы не ущемлять человеческие интересы. У агента с подобной целью во множестве ситуаций была бы конвергентная инструментальная причина для аккумуляции неограниченного количества физических ресурсов и устранения потенциальной угрозы своему существованию и собственной системе целей. Человечество не только может являть собой потенциальную угрозу, но еще и представляет из себя материальный ресурс.
В совокупности все три момента показывают, что сверхинтеллект потенциально способен формировать будущее жизни, зародившейся на Земле, может быть полностью лишен человеческих устремлений и, вероятно, будет обладать инструментальными причинами для безграничного захвата ресурсов. И если подумать о том, что человечество само по себе может быть полезным ресурсом (например, удачной комбинацией атомов), а для существования и процветания ему необходимы прочие локальные ресурсы, то можно без труда представить итог, при котором его история очень быстро оборвется.
