Групповая изоляция и геноцид

Общество

Компьютерную программу со склонностью к геноциду мы с моим коллегой Джоном Миллером создали в кабинете Университета Карнеги-Меллон.

Это не входило в наши первоначальные планы. Мы не изучаем расы или войны. Мы пытались понять, как возникают примитивные формы сотрудничества. Для этого мы создали устройства, которые жили в воображаемом обществе, и заставили их играть друг с другом в одну известную игру. Она провоцирует сложное социальное поведение так же эффективно, как банановое пюре привлекает фруктовых мошек.

Игра называется «дилемма заключенного». Существует множество вариантов, но их суть одна: двум преступникам нужно решить, молчать или дать показания. Если оба дают показания, то оба получают серьезный срок. Если же они молчат, то избегают наказания. Но если один выбирает дать показания, а другой молчит, то в более выгодном положении оказывается тот, кто сдал своего напарника.

Эта игра достаточно неопределенная для политической философии, но строгость ее правил подходит для задания компьютерной симуляции. Как инструмент для математического анализа человеческого поведения это эквивалент наклонной плоскости для Галилея или росткам гороха для Менделя.

Присоединитесь ли вы к протесту или будете скромно стоять рядом? Будете ограничивать производство товаров, чтобы держать цены на высоком уровне, или собьете цену, чтобы заполнить весь рынок своими продуктами? Возьмете ли вы всю работу в исследовательской группе на себя или оставите ее другим?

Наша модель была проста. Компьютеры, разработанные для принятия решений и ограниченные в аргументации, играли в эту игру в виртуальном мире снова и снова. Мы были не предвзяты: награждали тех, чья стратегия работала, и наказывали тех, чья провалилась. Успешные стратегии передавались следующему поколению. Так мы в некоторой степени смоделировали культурную эволюцию и присущие ей изменения.

Также мы снабдили компьютеры простейшим языком, чтобы они могли думать на нем, и достаточными ресурсами, чтобы накапливать и использовать опыт. В каждом «поколении» два компьютера сражались друг с другом многократно. Так происходит и в жизни: взаимодействуя, мы постоянно принимаем решения и сталкиваемся с их последствиями. У нас была такая модель мира: два Робинзона Крузо соперничают между собой на необитаемом острове.

Когда мы запускали развитие этих маленьких обществ, то ожидали, что, согласно общему мнению, оптимальной стратегией для решения «дилеммы заключенного» будет принцип «око за око». Компьютер, который играет так, изначально склонен к сотрудничеству, однако мстит каждый раз, когда другой компьютер своим решением наносит ему вред. Око за око — это закон чести: относись к другим хорошо до тех пор, пока они не дадут тебе причину относиться плохо, и умей прощать.

Уже когда мы взглянули на результаты наших симуляций (стратегии в них могли развиваться в произвольном направлении), то увидели нечто совершенно иное. После хаоса на раннем этапе одна машина внезапно превзошла все остальные и захватила этот выдуманный мир на сотни поколений. Потом все так же внезапно рухнуло, и мир погрузился в хаос конфликтов, пока этот цикл не начался снова. Археологи подобного мира сделали бы вывод об эпохах процветания и кратких периодах упадка.

Вместо осмотрительного поведения и поступательного развития, которые понятны нам, в нашей модели общества начало происходить что-то бессмысленное и странное. Однажды вечером мы составили графики и поняли, в чем дело. Взяв за основу поведение игроков, машины-лидеры создали некое правило, с помощью которого они научились распознавать, копирует ли другой компьютер их действия.

График показывает, что на первом этапе машинам свойственно случайное поведение. Затем, на 300-ом поколении, возрастает уровень сотрудничества, который совпадает с почти полным главенством одной машины, и это ведет всех остальных к вымиранию. Принцип «вынужденной кооперации» перестает работать в 450-ом поколении. Затем все смоделированное общество колеблется между высоким и низким уровнем кооперации (зеленые и желтые отрезки соответственно).
График показывает, что на первом этапе машинам свойственно случайное поведение. Затем, на 300-ом поколении, возрастает уровень сотрудничества, который совпадает с почти полным главенством одной машины, и это ведет всех остальных к вымиранию. Принцип «вынужденной кооперации» перестает работать в 450-ом поколении. Затем все смоделированное общество колеблется между высоким и низким уровнем кооперации (зеленые и желтые отрезки соответственно).

Поначалу компьютеры давали другой машине определенный паттерн (например,«сотрудничество, отказ, отказ, сотрудничество, отказ, сотрудничество»). Если их оппонент ответил сотрудничеством на сотрудничество и отказом на отказ, то компьютеры переключались в режим постоянного сотрудничества. Так оба компьютера получали выгоду.

Горе тем, кто не понял, как это работает. За любое отклонение от ожидаемой последовательности ответов оппоненту объявлялась тотальная война. Такая реакция похожа на атаку цифрового террориста-смертника: она приводила к уничтожению обоих машин.

Так как последовательность ответов слишком сложно обнаружить случайно, потомки главенствующих машин — единственные, кто получал выгоду от бескорыстного сотрудничества в дальнейшем. Все остальные уничтожались, включая тех, кто использовал стратегию «око за око». Так продолжалось до тех пор, пока не накапливалось достаточно ошибок в правилах предыдущего поколения.

Из-за ошибок в правилах одна главенствующая машина больше не могла распознать другую. Они стали уничтожать друг друга так же, как делали это раньше с машинами-чужаками. Все это напоминает аутоиммунное заболевание в масштабах популяции.

Пока правила работали, мы обозначали их как «шибболеты» по названию племенного геноцида, упомянутого в Ветхом Завете (Книга Судей Израилевых):

И перехватили Галаадитяне переправу чрез Иордан от Ефремлян, и когда кто из уцелевших Ефремлян говорил: «Позвольте мне переправиться», то жители Галаадские говорили ему: «Не Ефремлянин ли ты?» Он говорил: «Нет». Они говорили ему: «Скажи “шибболет”», а он говорил: «Сибболет», и не мог иначе выговорить. Тогда они, взяв его, заколали у переправы чрез Иордан. И пало в то время из Ефремлян сорок две тысячи.

Шибболеты — распространенное явление в человеческой культуре вообще и в конфликтах в частности. Во время Гражданской войны в Финляндии тех, кто не мог верно произнести «yksi» («один»), определяли как русских. Туристы в центре Манхэттена сразу же выдают себя, если произносят название улицы Хаустон-стрит как Хьюстон — город в Техасе (в английском языке эти слова пишутся одинаково — прим. Newочём).

В нашем случае компьютеры использовали шибболеты для контроля за населением настолько эффективно, что неугодные выжить не могли. Даже после завершения эры прах наследовали не кто иные, как их потомки. Слепая рука эволюции нашла простое, хотя и чрезвычайно жестокое решение.

Социальная обстановка была неблагоприятной. Мы снабдили компьютеры ограниченным количеством ресурсов для решения задачи. Как два полностью беспристрастных механизма ведут себя во время конфликта, если каждый из них осознает факт беспристрастности другого? По своей природе два рациональных существа, столкнувшись с одной и той же проблемой, будут действовать одинаково. Учитывая это, каждый из них решит сотрудничать, но отнюдь не из альтруистических побуждений. Каждый из компьютеров понимает, что если он выберет обман, то же сделает и другой. И пострадают оба.

Все многообразие можно ограничить двумя полюсами. На одном из них стоят наши компьютеры для минимальных вычислений. Они выступают как исходные пункты для развития культуры, которая, как выяснилось, в конечном счете сводится к жестокому трайбализму (замкнутость и враждебность группы по отношению к окружающим — прим. Newочём). На другом полюсе находится неизбежное взаимодействие абсолютно здравомыслящих участников.

Если люди крайне рассудительны или, по крайней мере, находятся на пути к этому, то есть повод для оптимизма. Возможно, Фрэнсис Фукуяма думал так же, когда в 1992 году публиковал свою теорию о конце истории. И хотя истоки доводов Фукуямы можно найти в работах немецких философов 19 века вроде Фридриха Ницше и Георга Вильгельма Фридриха Гегеля, мы сформулируем их так: «Достаточно сложная модель человеческой жизни окончится в рациональном, либерально-демократическом и капиталистическом строе, который будет противостоять отдельным группам врагов».

В своих рассуждениях Фукуяма опирался не только на философские размышления, но и на анализ актуальных событий: падение коммунистического режима, развитие радио и телевидения, открытие границ и стремительное повышение уровня цен на бирже.

Сегодня сочинение Фукуямы выглядит как памятник мечтам предыдущего поколения (одна из глав книги называлась «Победа видеомагнитофона»). Сейчас культуры развиваются, но гармонии в этом, кажется, нет. Хаос 21 века очень напоминает это искусственное моделирование. Спустя два десятилетия после терактов 11 сентября даже западные либеральные демократии готовы рассмотреть негативные модели человеческого поведения и учесть намного более пессимистичные, чем Фукуяма.

Нью-йоркский шибболет. Коренные нью-йоркцы с легкостью распознают туриста, если он неправильно произнесет название этой улицы в центре города. Фото: lillisphotography / istock
Нью-йоркский шибболет. Коренные нью-йоркцы с легкостью распознают туриста, если он неправильно произнесет название этой улицы в центре города. Фото: lillisphotography / istock

Один из этих ученых — Карл Шмитт. Он считал, что элемент обсуждения в демократии — лишь прикрытие для более авторитарных форм правления. Похоже мыслит и Роберт Майклс. В своих работах по политическому неравенству он рассматривает демократию как временный этап эволюции общества, которая приведет к правлению небольшой элитарной группы людей.

Интеллектуалы разных политических взглядов все яснее видят, что сама возможность рационального политического порядка — это фантазия. Шибболеты начинают выполнять свои обязанности, чтобы определять расовые, национальные и религиозные ограничения, поэтому снова становятся неустранимыми чертами политической жизни.

Между этими взглядами, равно как и между соответствующими компьютерными симуляциями, лежит непреодолимая пропасть. Искусственные модели примитивны, жестоки и далеки от рациональности. Эти агенты созданы мной и Джоном Миллером как настроенные на сотрудничество рационалисты, которые, по мнению Фукуямы, ждут нас в конце истории. Как бы то ни было, эти модели внушают оптимизм.

Ученые, связанные с Институтом по изучению машинного интеллекта (Machine Intelligence Research Institute — MIRI) в Беркли, исследовали поведение рациональных, но ограниченных в ресурсах моделей, способных прочесть исходный код друг друга.

На первый взгляд, подобная прозрачность должна разрешить вопрос сотрудничества: если я могу предсказать поведение оппонента на основе его исходного кода, вероятно, я решу, что жульничество не оправдывает себя. Но что, если код моего противника сможет спрогнозировать мою симуляцию, мое поведение и попытается воспользоваться этим знанием? Без идеально симметричной рациональности эта проблема ведет к крайним искажениям мысли.

Некоторые модели «бестиария» MIRI могут напомнить ваших знакомых. К примеру, бот-кооператор (CliqueBot) просто сотрудничает со всеми, кто наделен тем же исходным кодом. Его доверия заслуживают лишь те, чей код слово в слово совпадает с его программой. Напротив, бот-беспристрастность (FairBot) игнорирует внешние различия и смотрит глубже, чтобы убедиться в готовности оппонента к сотрудничеству. Он считает так: «Если я докажу, что противник будет сотрудничать со мной, то я тоже буду».

Как же эти машины ладят друг с другом? В то время как полноценное решение представляет собой парадокс регресса, исследования по прогнозированию машинного поведения в дилемме заключенного несколько утешают. Оказывается, что что сотрудничество хотя бы возможно, даже среди ограниченных в ресурсах игроков.

Например, бот-беспристрастность распознает других таких ботов, даже если их исходный код отличается, поэтому разнообразие и кооперация достижимы, по крайней мере, если интеллект достаточно высок.

Даже склонные к геноциду модели крайнего полюса жестокости могут обнадежить. Они появились из глубин микросхемы и были смоделированы на сверхмощном компьютере в Техасе. У них не было биологического оправдания. Возможно, и нам не стоит искать оправданий.

Если поведение настолько всеобще, что отразилось и на компьютерных симуляциях, то нам стоит не бояться и идеализировать, а «лечить» его, как мы поступаем с онкологией или гриппом.

Что если мы воспринимали бы трайбализм как естественный сбой любой когнитивной системы, кремниевой или углеродной? Воспринимали бы в качестве универсальной истины или неизбежного греха, а как нечто преодолимое?

Саймон ДеДео — доцент Университета Карнеги Меллона, где он возглавляет Лабораторию общественного мнения, и внештатный профессор Института Санта-Фе.

Автор благодарит Институт имени Алана Тьюринга за оказанное гостеприимство летом, когда была написана эта статья.

Оригинал: Nautilus.

Автор: Саймон ДеДео.

Переводили: Варвара ВасильеваВероника ЧупроваАнна Василенко.

Редактировал: Сергей Разумов.

Оцените статью
Добавить комментарий
  1. Александр Зуев
    Александр Зуев

    Честно говоря, не совсем понятно, как именно принцип “гаси чужих помогай своим” закрепился в популяции. Ведь для этого нужно, чтобы его одновременно исповедовало как минимум несколько участников.

    1. Артем Краснов
      Артем Краснов

      Alexander, гены выживают по этому принципу последние 4 миллипрда лет. Все, что требовалось – расширить группу “своих” не только на ближайших генетических родственников.

      После этого уже существующие механизмы кооперации сами бы устроили положительную связь с приспособленностью

      1. Александр Зуев
        Александр Зуев

        Гены выживают всё-таки по несколько иному принципу: они должны либо приносить пользу, либо хотя бы не мешать. А мутация “ненавидь всех, кто в начале партии не пробибикал тебе условное сообщение” абсолютно вредна. Поскольку если ты такой один, ты из-за неё получишь 100 процентов проигрышей. Нужно, чтобы она произошла одновременно у нескольких особей и при этом “бибик” для всех был один.

        Ну или этот момент как-то не совсем понятно перевели.

  2. Гани Калиев
    Гани Калиев

    Претензии либо к переводу, либо к материалу.

    Дилемма заключенного подразумевает пример решения проблемы “отсутствие коммуникации” с помощью логики и информации о оппоненте. И там, как я помню, если никто не делал донос, то обоих отпускали. Если один делал донос, ему давали min срок, а последний получал max срок. Если оба доносили, то получали средний срок. Это дилемма лишь для двух людей. В симуляции естественного отбора уже сложнее, но уж точно не это было рассмотрено здесь. А может было рассмотрено, но вообще ничего не понятно. Ни примеров их действия, ни алгоритм и эволюция поколений, вообще ни-о-чем

  3. Андрей Энгелько
    Андрей Энгелько

    Пардон, но фраза “If they both cheat, they both suffer” переведена неправильно как “Если молчат оба, обоих ждет серьезное наказание.” Это превращает описание дилеммы заключённого в логическую несуразность.

    1. admin
      admin автор

      Андрей, ошибка перевода, мы уже исправили этот момент.

  4. Владимир Лучко
    Владимир Лучко

    У Докинза в “эгоистичном гене” было. Сражение различных стратегий за максимальное количество очков. В итоге оптимальной оказалась “Доброжелательная око за око”. То есть сперва кооперируйся, а далее – повторяй предыдущее действие оппонента. Если он тебя надул – накажи, если пошёл на кооперацию – пойди и ты.

    1. Burned Heretic
      Burned Heretic

      Владимир, тоже самое и Сапольски в лекциях рассказывал

    2. Андрій Бойко
      Андрій Бойко

      Владимир, вот только применительно к людям эту стратегию “око за око” нужно использовать в связке с прощением…. так как в отличии от простых компьютерных моделей, люди очень подвержены ложным интерпретациям.
      Например: если использовать только стратегию “око за око”, то в какой то ситуации вы можете ошибиться и подумать, что ваш партнер вас надул, и вы его надуете в ответ, он посмотрит, что вы его обманули без причины, и уже обманет вас. Получается замкнутый цикл вражды который породила ваша ложная интерпретация событий….. прощение же может этот цикл вражды разорвать и попробовать разобраться в проблеме и кто и где ошибся….

      1. Di Winger
        Di Winger

        Андрій, 100% человек гораздо сложнее, чем алгоритм компьютера и имеет кучу несовершенств в своей системе

      2. Владимир Лучко
        Владимир Лучко

        Андрій, применительно к людям стоит использовать в связке с много чем ещё окромя прощения. Там и эмпатия и прогнозирование и много всякого разного. Только при чём здесь это? Речь ведь о конкретных условиях и стратегиях для этих условий.
        Ну и относительно вашего примера – мне кажется, что тут речь не столько о прощении, сколько о более тщательной оценке ситуации.

  5. admin
    admin автор

    Наш подписчик Антон Бондарь скинул ссылку на интересную игру, которая во многом перекликается с идеями из статьи: https://notdotteam.github.io/trust/

  6. Виктор Белугин
    Виктор Белугин

    Анто Бондарь, огромное тебе спасибо)

  7. Di Winger
    Di Winger

    Отличие проведённой в статье симуляции от дилеммы заключённого в том что в последней предполагается сотрудничество или отказ от такового с неким третьим независимым от первых двух игроков и обладающим значительно большей силой, чем эти двое.
    Так что это не дилемма заключённого.

    1. Александр Зуев
      Александр Зуев

      Это всё-таки она, посколько этого третьего можно без проблем заменить на скрипт. Его реакция фиксированна.

      1. Di Winger
        Di Winger

        Александр, нет. Имхо нельзя. Потому что в дилемме заключённого третий (полицейский) играет не на равных с другими

        1. Александр Зуев
          Александр Зуев

          В дилемме заключённого “третий” не играет, он не принимает никаких решений. Условия заданы изначально, и измениться они не могут.

          1. Di Winger
            Di Winger

            Александр, для начала надо принять, что дилемма заключённого очень сильно притянутая за уши ситуация. Также как и дилемма выбора , когда дают на выбор 2 варианта не особо выгодных и при этом выбирающий “забывает” о существовании третьего варианта выбора, который просто не озвучен.
            Так и здесь.

          2. Александр Зуев
            Александр Зуев

            Да, это мысленный эксперимент с чётко заданными условиями. И если мы хотим его использовать, мы принимаем эти условия.
            Если условия не нравятся, можно выдумать свой мысленный эксперимент)

          3. Di Winger
            Di Winger

            Александр, это конечно. Но придерживаться в жизни результатов моделирования таких дилемм крайне рисковало потому что зачастую конечный результат того или иного выбора зависимыми от следующих решений, а не от одного .

          4. Олег Коковін
            Олег Коковін

            Di, если брать применение дилеммы заключенного в реальном уголовном праве, то разница лишь одна: когда признались оба – они оба получают штраф за “соучастие”. То есть, вместе получают больший строк, чем если один всё возьмет на себя, преданный другим.
            В англо-американской система права, правда, есть понятие судебного иммунитета. По тому признаваться первым выгодно.
            В романо-германской правовой системе (то есть и в СНГ). Есть только “чистосердечное признание” и “помощь следствию” – они лишь могут влиять на назначение наказания в качестве смягчающего обстоятельства. То есть, влиять на определение наказания ниже максимальной предусмотренной планки. И редко когда дают что-то большее.

            По тому у нас дилемма заключенного выглядит иначе – либо оба молчат (и тогда всё решают улики, которые, впрочем, явно лишние в этой экспериментальной модели), либо один всё берёт на себя (и получает, обычно, меньше чем с +соучастием), либо оба идут “на полную катушку”.

          5. Александр Зуев
            Александр Зуев

            Тут можно добавить, что при российской системе правосудия выгодно сразу признаться и просить рассмотреть дело по упрощенке.
            Потому что если ты пропал в суд, то уже ясно, что тебя признают виновным. И вопрос только в том, сколько дадут (

          6. Николай Богачев
            Николай Богачев

            Александр, При этом, не дадут меньше, как многие думают. Дадут как обычно, только быстрее. Раньше сядем -раньше выйдем!

          7. Александр Зуев
            Александр Зуев

            Ну, как минимум точно не больше 2/3 от максималки. Плюс, можно договориться с обвинением, мол вам меньше работы – мне меньше сидеть. Многие чиновники так и поступают, кстати.

          8. Pasha Paschovsky
            Pasha Paschovsky

            Александр, чиновники)
            Человек для следаков – это мусор)

            Они тебе предлагают признание только для того, чтобы меньше работать
            И уж точно ничего не могут гарантировать, никаких меньше-сроков, это решает суд

            Так что надо все отрицать, пусть бездельники впахивают