Как ИИ может на самом деле начать ядерную войну

С момента появления искусственного интеллекта люди испытывали страх перед ним и ядерным оружием. И фильмы — яркий пример этих страхов. Скайнет из франшизы «Терминатор» обретает разум и запускает ядерные ракеты по Америке. WOPR из WarGames чуть не развязывает ядерную войну из-за недопонимания. Недавний фильм Кэтрин Бигелоу «Дом динамита » задаётся вопросом, причастен ли искусственный интеллект к ядерному ракетному удару по Чикаго.

Джош Китинг из Vox рассказал соведущему программы Today, Explained Ноэлю Кингу, что ИИ уже используется в нашей ядерной отрасли. «Компьютеры были частью этого с самого начала », — говорит он. «Некоторые из первых цифровых компьютеров использовались при создании атомной бомбы в Манхэттенском проекте». Но мы не знаем точно, где и как он задействован.

Так стоит ли нам беспокоиться? Ну, может быть, утверждает Китинг. Но не о том, что ИИ может на нас напасть.

Ниже представлен отрывок их беседы, отредактированный для краткости и ясности. В полном выпуске вы найдёте гораздо больше информации, поэтому слушайте «Today, Explained» везде, где вы можете найти подкасты, включая Apple Podcasts , Pandora и Spotify .

В фильме «Дом динамита» есть момент , где герои пытаются понять, что произошло и замешан ли в этом искусственный интеллект. Есть ли смысл в этих фильмах с такими страхами?

Интересное в фильмах, когда речь заходит о ядерной войне, заключается в следующем: это война, которая никогда не велась. Нет никаких ветеранов ядерных войн, кроме двух бомб, которые мы сбросили на Японию, что представляет собой совершенно иной сценарий. Я думаю, что фильмы всегда играли своего рода огромную роль в дебатах о ядерном оружии. Можно вернуться к 60-м, когда Стратегическое авиационное командование фактически выпустило собственное опровержение « Доктора Стрейнджлава» и «Fail Safe» . В 80-х телефильм « На следующий день» стал своего рода движущей силой движения за замораживание ядерного оружия. Президент [Рональд] Рейган, по-видимому, был очень встревожен, когда посмотрел его, и это повлияло на его взгляды на контроль над вооружениями с Советским Союзом.

В конкретной теме, которую я рассматриваю, а именно, ИИ и ядерное оружие, было удивительно много фильмов, сюжет которых строится на этом. И эта тема часто поднимается в политических дебатах по этому поводу. Сторонники интеграции ИИ в систему управления ядерными силами говорили: «Послушайте, это не будет «Скайнет»». Генерал Энтони Коттон, нынешний командующий Стратегическим командованием — родом войск, ответственным за ядерное оружие, — выступает за более широкое использование инструментов ИИ. Он сослался на фильм 1983 года «Военные игры», сказав: «У нас будет больше ИИ, но в стратегическом командовании не будет ИИ-системы».

Мне кажется, [фильмы] немного не дотягивают до уровня страха, что сверхразумный ИИ захватит наше ядерное оружие и использует его, чтобы уничтожить нас. Пока это лишь теоретическое опасение. Более реальная проблема, на мой взгляд, заключается в следующем: по мере того, как ИИ проникает всё дальше в систему управления, понимают ли люди, ответственные за принятие решений о создании ядерного оружия, как работает ИИ? И как это повлияет на то, как они принимают эти решения, которые могут стать, без преувеличения, одними из самых важных решений, когда-либо принятых в истории человечества.

Понимают ли люди, работающие над ядерным оружием, ИИ?

Мы не знаем точно, какое место занимает ИИ в ядерной отрасли. Но люди будут удивлены, узнав, насколько низкотехнологичной была система управления ядерными силами. До 2019 года для связи использовались дискеты. Я уже не говорю о маленьких пластиковых дискетах, похожих на значок сохранения в Windows. Я имею в виду старые гибкие дискеты из 80-х. Они хотят, чтобы эти системы были защищены от внешнего кибервмешательства, поэтому не хотят, чтобы всё было подключено к облаку.

Но поскольку идёт многомиллиардный процесс модернизации ядерных сил, значительная его часть направлена ​​на обновление этих систем. И несколько руководителей СтратКома, включая пару, с которыми я общался, заявили, что, по их мнению, ИИ должен быть частью этого процесса. Все они говорят, что ИИ не должен отвечать за принятие решений о применении ядерного оружия. Они считают, что ИИ может просто анализировать огромные объёмы информации и делать это гораздо быстрее людей. И если вы смотрели «Дом динамита» , то этот фильм отлично показывает, как быстро президенту и старшим советникам придётся принимать совершенно неординарные и сложные решения.

Каковы основные аргументы против объединения ИИ и ядерного оружия?

Даже лучшие из доступных нам сегодня моделей искусственного интеллекта по-прежнему подвержены ошибкам. Ещё одна проблема заключается в возможности внешнего вмешательства в работу этих систем. Это может быть взлом, кибератака или же иностранные правительства могут придумать способы внедрения неточной информации в модель. Поступают сообщения о том, что российские пропагандистские сети активно пытаются внедрять дезинформацию в обучающие данные, используемые западными потребительскими чат-ботами на основе искусственного интеллекта. Другой вопрос — как люди взаимодействуют с этими системами. Многие исследователи отмечают феномен, называемый «смещением автоматизации» , который заключается в том, что люди склонны доверять информации, предоставляемой компьютерными системами.

История знает множество примеров, когда технологии фактически приводили к ядерным катастрофам, и именно люди вмешивались, чтобы предотвратить эскалацию. Был случай в 1979 году, когда Збигнев Бжезинский, советник по национальной безопасности США, был разбужен телефонным звонком среди ночи, сообщившим о запуске сотен ракет с советских подводных лодок у берегов Орегона. И как раз перед тем, как он собирался позвонить президенту Джимми Картеру, чтобы сообщить ему об атаке на Америку, поступил ещё один звонок, который [первый] оказался ложной тревогой. Несколько лет спустя в Советском Союзе произошёл очень известный случай. Полковник Станислав Петров, работавший в их инфраструктуре обнаружения ракет, получил от компьютерной системы информацию о запуске американской ядерной ракеты. Согласно протоколам, он должен был сообщить об этом своему начальству, которое могло отдать приказ о немедленном ответном ударе. Но оказалось, что система ошибочно приняла солнечный свет, отражающийся от облаков, за запуск ракеты. Поэтому очень хорошо, что Петров принял решение подождать несколько минут, прежде чем позвонить начальству.

Я слушаю эти примеры, и, если подходить к этому совсем упрощенно, я могу вынести из них следующий вывод: именно люди оттягивают нас от края пропасти, когда технологии дают сбой.

Это правда. И я думаю, что недавно были проведены действительно интересные испытания моделей ИИ в условиях военных кризисов, и они, как правило, более агрессивны, чем люди, принимающие решения. Мы не знаем точно, почему это так. Если задуматься, почему мы не вели ядерную войну — почему спустя 80 лет после Хиросимы никто не сбросил ни одной атомной бомбы, почему на поле боя никогда не было обмена ядерными ударами, — думаю, отчасти дело в том, насколько это страшно. В том, как люди понимают разрушительный потенциал этого оружия и к чему может привести эта эскалация. Что существуют определённые шаги, которые могут иметь непреднамеренные последствия, и страх играет в этом большую роль.

С моей точки зрения, мы хотим убедиться, что страх встроен в систему. Что субъекты, способные прийти в ужас от разрушительного потенциала ядерного оружия, принимают ключевые решения о его применении.

Похоже, это похоже на фильм «Дом динамита» , и живо начинаешь думать, что, возможно, нам стоит полностью отказаться от ИИ. Похоже, вы говорите: ИИ — это часть ядерной инфраструктуры для нас и других стран, и, вероятно, так и останется.

Один из сторонников большей автоматизации сказал мне: «Если вы не думаете, что люди могут создать надежный ИИ, то людям нечего делать с ядерным оружием». Но дело в том, что, я думаю, с этим утверждением согласятся и те, кто считает, что мы должны полностью ликвидировать все ядерное оружие. Возможно, я и зашел так далеко из-за беспокойства, что ИИ захватит и подчинит себе ядерное оружие, но сейчас я понял, что меня и так достаточно беспокоит то, что люди будут делать с ядерным оружием. Дело не в том, что ИИ будет убивать людей ядерным оружием. Дело в том, что ИИ может повысить вероятность того, что люди будут убивать друг друга ядерным оружием. В какой-то степени ИИ — это наименьшая из наших забот. Я думаю, фильм хорошо показывает, насколько абсурдным на самом деле является сценарий, в котором нам придется решать, применять его или нет.