«Конец близок. Этой осенью он кажется ближе, чем обычно.
За последние три месяца барабанная дробь о конце времён, похоже, стала громче. . . И повсюду ощущалось нарастающее чувство всеобщей тревоги.
Это не ново и заслуживает внимания. Хотя предсказания о конце времён существуют уже давно, по крайней мере до сих пор, все они оказались неверными. Так почему же мы продолжаем им верить?
В течение последних нескольких десятилетий американцы были одержимы мыслями о потенциальной катастрофе из-за перенаселения (которой пока не суждено случиться); ядерной войне (которую пока удалось избежать); системном сбое из-за компьютерного сбоя (проблема 2000 года остается небольшим сбоем); общественном коллапсе из-за глобальной пандемии (еще не совсем); и все еще надвигающемся климатическом кризисе (результаты еще предстоит определить).
Но сегодня, будь то из-за чрезвычайного хаоса второго президентства Трампа, тревожных достижений искусственного интеллекта или чего-то еще, разница между реальностью и апокалипсисом кажется менее выраженной», — пишет писательница Кристина Эмба с статье «Апокалипсис сегодня» на страницах «Нью-Йорк таймс»* (30.11.2025).
В сентябре 2025 года в TikTok распространились слухи о том, что апокалипсис начнётся во второй половине месяца. В частности, некоторые создатели контента евангельских христиан предсказывали, что Иисус Христос вернётся 23 сентября, чтобы забрать своих верных последователей на небеса, оставив неверных позади. Видео об этом — некоторые из них были шуточными, а некоторые — серьёзными, набрали много миллионов просмотров ещё до назначенной даты.
Чтобы не поддаться панике, миллиардер, технологический инвестор и политический авторитет Питер Тиль посвятил осень популяризации своей давней теории о приближении Армагеддона, а возможно, и о том, что он уже наступил. В закрытом цикле лекций из четырёх частей в Сан-Франциско Тиль поделился с сотнями слушателей своими размышлениями о международных финансах, рассуждениями об опасности создания единого мирового государства и своим ощущением того, что «система, подобная Антихристу», готова к запуску «по щелчку переключателя».
Даже в нерелигиозном контексте ощущается надвигающаяся катастрофа: опрос, проведенный Брукингским институтом и Институтом исследований общественной религии в октябре 2025 года, показал, что 62 процента американцев считают, что события в стране развиваются в неправильном направлении, а 56 процентов считают, что президент Трамп, в частности, является «опасным диктатором, чью власть следует ограничить, прежде чем он разрушит американскую демократию». Опрос Pew показал, что почти четверо из десяти американцев считают, что человечество «живёт в конце времен».
И всё это подпитывается постоянными предвестниками катастрофы из Кремниевой долины, где руководители и исследователи выдают мрачные, но торжествующие прогнозы о том, что ИИ вот-вот обгонит людей и, возможно, уничтожит нас всех. «Если кто-то это построит, все умрут» — так называется новая книга исследователей ИИ Элиезера Юдковски и Нейта Соареса. Неутешительное заявление, учитывая, сколько компаний-триллионеров стремятся создать его как можно быстрее.
«Многие из сегодняшних тревог, связанных с концом времён, перекликаются с аналогичными моментами прошлого: слухи об апокалипсисе часто становятся громче всего в те исторические моменты, когда один образ жизни грозит вытеснить другой», — пишет Эмба.
Объяснения грядущего эсхатона, или конца, были попыткой найти определенность в неопределенное время, в периоды, параллели которых с настоящим моментом очевидны: быстрые социальные изменения, экономическая неразбериха, страх перед конфликтом и исторические технологические сдвиги, которые оставили роли неопределенными, а будущее — открытым для исканий.
В прошлые века апокалипсис обсуждался преимущественно в религиозном контексте – тогда как сегодня идея массового уничтожения пользуется определённой популярностью. «Каким бы страшным ни был Армагеддон, он, по крайней мере, наступит для всех нас. В конечном итоге восторжествует истинное правосудие, положив конец страданиям, которые несёт с собой наше современное существование».
«Возможно, наши мысли обращаются к концу, когда кажется, что текущий момент невозможно пережить: события кажутся слишком хаотичными, слишком непредсказуемыми. Силы, с которыми сталкиваются люди, кажутся слишком огромными, чтобы с ними справиться. Наиболее оптимистичных из нас утешает мысль о приближении спасения (возможно, в форме возвращения Иисуса, чтобы забрать свой избранный народ). Остальные же с тревогой ждут, убивая время, строя предположения о том, каким будет конец».
Но эта уверенность — или, по крайней мере, пессимизм — может парализовать. Зачем голосовать, когда у руля уже «опасный диктатор»? Зачем пытаться регулировать технологию, которая, как считается, достаточно мощна, чтобы превратить мировые ресурсы в скрепки. Зачем пытаться улучшить мир, если завтра ему конец?
«Апокалиптические предсказания на самом деле могут служить утешительными фантазиями, в результате чего наши будущие истерики становятся оправданием бездействия, которое в конечном итоге ускоряет самые страшные последствия.
Легче предположить, что мир близок к концу, чем предпринять необходимые меры для того, чтобы этого не произошло», — заключает Эмба.
Заявления Трампа о ядерных испытаниях сдетонировали боязнь Апокалипсиса в США
Безусловно, заявление Трампа о ядерных испытаниях в преддверии его встречи с председателем КНР Си Цзиньпином 30 октября 2025 года в Пусане сдетанировало в общественном сознании американцев боязнь Апокалипсиса. В публикации на своей странице Truth Social Трамп объявил, что Соединенные Штаты возобновят ядерные испытания в ответ на ядерные угрозы, исходящие, по его словам, от России и Китая. Этот шаг был воспринят всеми как окончание 33-летнего периода сдержанности, наступившего с момента последнего подземного испытания США в Неваде в сентябре 1992 года.
Однако всего несколько дней спустя, 2 ноября, министр энергетики Крис Райт попытался успокоить растущую обеспокоенность. Он заявил, что Соединённые Штаты не намерены возвращаться к испытаниям взрывчатых веществ, заявив, что вместо этого будут проводиться плановые проверки ядерных компонентов для обеспечения их надёжности. «Это будут неядерные взрывы», — заявил он в воскресном брифинге на Fox News. «Мы разрабатываем сложные системы, поэтому наше новое ядерное оружие будет ещё лучше прежнего».
Адам Лоутер, соучредитель и вице-президент по исследованиям Национального института исследований сдерживания, подчеркнул, что Трамп позволяет американским учёным проводить гидростатические испытания — невзрывные процедуры, позволяющие получать данные с более высокой точностью, — в то время как Вашингтон модернизирует свой арсенал и создаёт первую новую боеголовку за более чем одно поколение. «Это очень важное различие», — подчеркнул Лоутер.
Однако нынешние дебаты упускают из виду более глубокую реальность: ядерное сдерживание и ядерное устрашение всегда были неразделимы и парадоксальны. Сдерживание позиционируется как оборонительное, но зависит от угрозы применения катастрофической силы. Юристы, такие как Кимиаки Каваи, в своих работах, таких как «Ядерное сдерживание и угроза силой», утверждают, что сама эта логика нарушает международное право, которое запрещает не только применение силы, но и угрозу её применения.
Это противоречие не ново. В 1945 году Бернард Броди писал в книге «Абсолютное оружие», что главная цель бомбы — предотвращать войну, а не выигрывать её: «Главной целью наших вооружённых сил должно быть предотвращение войн, а не победа в них». Тем не менее, ранние американские планировщики всё ещё рассматривали атомные бомбы как военный инструмент. В докладе Объединённого комитета начальников штабов 1945 года даже рекомендовалось наносить удары по «населённым пунктам», чтобы сломить боевой дух — идея, радикально противоречащая зарождающемуся гуманитарному праву.
Из логики сдерживания Броди и аргументов Уильяма Бордена в пользу ядерной войны родилась доктрина взаимного гарантированного уничтожения (ВГУ). Более поздние теоретики Гленн Снайдер и Роберт Джервис определили сдерживание как предотвращение враждебных действий посредством убедительных угроз возмездия. Согласно этой точке зрения, мир основан на страхе — динамика, которая продолжает определять мировую политику и сегодня.
Заявление Трампа от 2025 года перекликается с его более ранней риторикой, с угрозой Северной Корее «огнем и яростью», высказанной в 2017 году, и призывом создать «в десять раз больше» ядерного оружия. Подобные высказывания – квинтэссенция принудительных сигналов, где авторитетность заключается не в сдержанности, а в демонстрации готовности действовать.
Он стремился продемонстрировать свою силу в отношениях с Россией и Китаем, сигнализируя о готовности к испытаниям, но вместо этого подорвал юридический и моральный авторитет Америки. Россия пригрозила принять симметричные меры в случае нарушения моратория на испытания каким-либо государством. Китай осудил это заявление как стратегическое принуждение. Некоторые европейские чиновники посчитали, что даже испытания без взрывов могут ослабить ядерное табу и дестабилизировать НАТО.
Как отмечают Каваи и другие учёные, сдерживание по своей сути имеет взаимный характер: каждая угроза порождает ответную угрозу, и, таким образом, сдерживание порождает контрсдерживание. Таким образом, сдерживание порождает «иерархию угроз», которая ставит государства, обладающие ядерным оружием, выше государств, не обладающих им, тем самым укрепляя глобальное неравенство.
«Возобновление испытаний США, символическое или иное, стало бы нарушением духа как Договора о всеобъемлющем запрещении ядерных испытаний, так и Договора о запрещении ядерного оружия. Этот последний Договор, ратифицированный более чем девяноста государствами, запрещает применение и угрозу применения ядерного оружия, что является пробелом, оставленным в Уставе ООН. Хотя государства, обладающие ядерным оружием, отказываются присоединиться к Договору, его растущая поддержка свидетельствует о формировании морального и правового консенсуса: само обладание ядерным оружием представляет собой угрозу человечеству.
Этот сдвиг бросает вызов устоявшимся представлениям. Подготовка к ядерным испытаниям обнажает моральную суть дискуссии: можно ли построить мир на готовности уничтожать? ДЗЯО предлагает иное видение — безопасность, основанную не на страхе, а на его отсутствии», — пишут аналитики Института мира Тода (28.11.2025).
Сдерживание не является нейтральной практикой. Наличие огромных арсеналов и возможности применения оружия первыми закрепляет неравенство. В Восточной Азии гарантии безопасности США ограничивают региональную автономию. В Европе НАТО встраивает государства в систему, основанную на экзистенциальной угрозе. Как пишет Каваи, сдерживание — это не мир, а принуждение, если говорить простым языком.
В течение своего первого срока Трамп вышел из ключевых соглашений по контролю над вооружениями: Договора о ликвидации ракет средней и меньшей дальности (ДРСМД), Договора по открытому небу и Совместного всеобъемлющего плана действий (СВПД). Он расширил тактическую роль ядерного оружия, ещё больше размыв границу между законностью и этикой. Сдерживание вновь предстало как пакт с разрушением — мир, сохраняемый угрозой уничтожения.
Своим последним заявлением по поводу ядерных испытаний Дональд Трамп обостряет давний раскол: между безопасностью, основанной на праве, и безопасностью, основанной на доминировании.
«Когда речь заходит о ядерном оружии и ИИ, люди беспокоятся не о том»
Статью с таким названием опубликовал в «Вокс» (20.11.2025) автор книг о конфликтах Джошуа Китинг.
Он пишет:
«Межконтинентальной баллистической ракете (МБР) с ядерной боеголовкой потребуется около 30 минут, чтобы долететь от России до США. Запущенная с подводной лодки, она может достичь цели ещё быстрее. После обнаружения и подтверждения атаки президенту докладывают об этом. В этот момент у главнокомандующего может быть максимум две-три минуты, чтобы решить, запускать ли сотни американских МБР в ответ или рисковать полной утратой возможности нанести ответный удар.
Это абсурдно мало времени для принятия какого-либо важного решения, не говоря уже о потенциально самом важном решении в истории человечества. Хотя бесчисленные эксперты годами посвящали бесчисленные часы размышлениям о том, как будет вестись ядерная война, если она когда-нибудь случится, ключевые решения, скорее всего, будут принимать неподготовленные лидеры, у которых мало времени на консультации или размышления».
В последние годы военные лидеры все больше интересуются интеграцией искусственного интеллекта в систему управления ядерными силами США, учитывая его способность быстро обрабатывать огромные объемы данных и выявлять закономерности.
Взломанный ИИ, захватывающий ядерное оружие, является неотъемлемой частью сюжетов фильмов, от «Военных игр» и «Терминатора» до последней картины «Миссия невыполнима», что, вероятно, оказывает некоторое влияние на то, как общественность воспринимает эту проблему.
Несмотря на интерес к ИИ, официальные лица твердо убеждены, что компьютерной системе никогда не будет предоставлен контроль над решением о фактическом запуске ядерного оружия; в прошлом году президенты США и Китая опубликовали совместное заявление по этому поводу.
Однако некоторые учёные и бывшие военные утверждают, что настоящая проблема не в том, что ИИ, вышедший из-под контроля и запускающий ядерное оружие, — это не проблема. Их беспокоит то, что по мере того, как люди всё больше полагаются на ИИ в принятии решений, ИИ будет предоставлять ненадёжные данные и подталкивать человеческие решения к катастрофическим последствиям.
Поэтому неудивительно, что руководители американской атомной отрасли заинтересованы в поиске способов автоматизации отдельных этапов процесса, в том числе с помощью ИИ. Идея заключается в том, чтобы дать США потенциальное преимущество или, по крайней мере, выиграть немного времени.
Но для тех, кто обеспокоен потенциальным экзистенциальным риском для будущего человечества как со стороны ИИ, так и ядерного оружия, идея объединения этих двух рисков в один — кошмар. Существует широкое согласие относительно того, что, как заявил в сентябре 2025 года Генеральный секретарь ООН Антониу Гутерриш, «пока ядерное оружие не будет уничтожено, любое решение о его применении должно приниматься людьми, а не машинами».
Однако, судя по всему, никто на самом деле не собирается создавать машину Судного дня, управляемую ИИ. Стратегическое командование ВС США (STRATCOM), военное подразделение, ответственное за ядерное сдерживание, не раскрывает подробностей о том, какое место ИИ может занять в нынешней системе командования и управления. (STRATCOM переадресовало запрос Vox о комментариях в Министерство обороны, которое не ответило.) Но оно совершенно чётко обозначило, где его нет.
«Во всех случаях Соединенные Штаты будут держать человека «в курсе» всех действий, имеющих решающее значение для информирования и исполнения решений президента о начале и прекращении использования ядерного оружия», — заявил в 2025 году Конгрессу США генерал Энтони Коттон, нынешний командующий STRATCOM.
На саммите в 2024 году председатель КНР Си Цзиньпин и тогдашний президент США Джо Байден «подтвердили необходимость сохранения человеческого контроля над решением о применении ядерного оружия». Нет никаких признаков того, что администрация президента Дональда Трампа изменила эту позицию.
Однако единодушие в отношении того, что люди должны по-прежнему контролировать ядерный арсенал, скрывает более тонкую опасность. Многие эксперты считают, что даже если окончательное решение о применении ядерного оружия по-прежнему принимают люди, растущая зависимость людей от ИИ в принятии этих решений увеличит, а не уменьшит, вероятность того, что это оружие действительно будет применено, особенно по мере того, как люди всё больше доверяют ИИ как помощнику в принятии решений.
«У меня для вас хорошие новости: ИИ не собирается убивать вас ядерным оружием в ближайшее время», — заявил Питер У. Сингер, стратег аналитического центра New America и автор нескольких книг по военной автоматизации. «У меня для вас плохие новости: это может повысить вероятность того, что люди убьют вас ядерным оружием».
Зачем объединять ИИ и ядерное оружие?
Чтобы точно понять, какую угрозу представляет участие ИИ в нашей ядерной системе, важно сначала понять, как он используется сейчас.
Это может показаться удивительным, учитывая его чрезвычайную важность, но, по словам людей, работавших в ядерном командовании США, многие аспекты его деятельности до сих пор на удивление низкотехнологичны. Отчасти это связано с желанием сохранить жизненно важные системы «изолированными», то есть физически разобщенными, от более крупных сетей для предотвращения кибератак и шпионажа. До 2019 года система связи, которую президент использовал для приказа о нанесении ядерного удара, всё ещё использовала дискеты. (Даже не маленькие жёсткие пластиковые диски 1990-х годов, а гибкие восьмидюймовые диски 1980-х годов.)
В настоящее время США находятся в процессе модернизации ядерного оружия, который длится уже несколько десятилетий и оценивается почти в триллион долларов. В частности, было потрачено около 79 миллиардов долларов на то, чтобы вывести системы управления, контроля и связи ядерного оружия из эпохи Atari. (Дискеты были заменены на «высокозащищенное твердотельное цифровое хранилище»). Коттон назвал искусственный интеллект «центральным» элементом этого процесса модернизации.
Выступая в 2025 году в Конгрессе, он сообщил, что STRATCOM ищет способы «использования ИИ/МО [машинного обучения] для ускорения принятия решений человеком». Он добавил, что его командование стремится нанять больше специалистов по обработке данных с целью «внедрения ИИ/МО в архитектуру ядерных систем».
Некоторые роли ИИ не вызывают никаких сомнений, например, «прогностическое обслуживание», которое использует прошлые данные для заказа новых запасных частей до того, как старые выйдут из строя.
На другом конце спектра находилась бы теоретическая система, которая могла бы предоставить ИИ право применить ядерное оружие в ответ на атаку, если президент недоступен. Хотя есть сторонники такой системы, США, насколько известно Китингу, не предприняли никаких шагов к её созданию.
Именно такой сценарий, вероятно, приходит на ум большинству людей, когда речь заходит об идее объединения ядерного оружия и ИИ, отчасти в связи с фильмами, в которых вышедшие из-под контроля компьютеры пытаются уничтожить мир. В другом публичном выступлении генерал Коттон упомянул фильм 1983 года «Военные игры», в котором компьютерная система под названием WOPR выходит из-под контроля и едва не развязывает ядерную войну: «У нас нет WOPR в штаб-квартире STRATCOM. И никогда не будет WOPR в штаб-квартире STRATCOM».
Вымышленные примеры, такие как WOPR или «Скайнет» из «Терминатора», несомненно, повлияли на общественное мнение о сочетании ИИ и ядерного оружия. И те, кто верит, что сверхразумная система ИИ способна самостоятельно попытаться уничтожить человечество, по понятным причинам хотят держать эти системы подальше от самых эффективных методов, когда-либо созданных человечеством для достижения этой цели.
Большинство способов использования ИИ в ядерной войне лежат где-то между интеллектуальным обслуживанием и полноценным «Скайнетом».
«Люди карикатурно трактуют суть этих дебатов, сводя их к вопросу о том, стоит ли предоставлять ChatGPT коды запуска. Но это не так», — сказал Херб Лин, эксперт по киберполитике Стэнфордского университета.
Одним из наиболее вероятных применений ИИ в системе управления ядерными силами и средствами является «стратегическое предупреждение» — синтез огромного объёма данных, собранных спутниками, радарами и другими сенсорными системами, для скорейшего обнаружения потенциальных угроз. Это подразумевает отслеживание пусковых установок и ядерных средств противника для своевременного обнаружения атак и повышения эффективности ответных действий.
«Помогает ли это нам находить и идентифицировать потенциальные цели за считанные секунды, которые аналитики-люди могут не найти за несколько дней, если вообще найдут? Если это будет делать такие вещи с высокой уверенностью, я полностью за», — заявил «Вокс» генерал в отставке Роберт Келер, командовавший STRATCOM с 2011 по 2013 год.
ИИ также может быть использован для создания так называемых систем «поддержки принятия решений», которые, как указано в недавнем докладе Института безопасности и технологий, не принимают решения о запуске самостоятельно, а «обрабатывают информацию, предлагают варианты и реализуют решения с машинной скоростью», помогая людям принимать эти решения. Генерал в отставке Джон Хайтен, командовавший STRATCOM с 2016 по 2019 год, рассказал изданию Vox, как это может работать.
«В ядерном планировании есть два компонента: цели и оружие», — сказал он. Планировщикам необходимо определить, какое оружие будет достаточно для нанесения угрозы конкретной цели. «Традиционный способ обработки данных для этого требовал огромного количества людей, времени и денег, и был невероятно сложным. Но это одна из самых простых задач ИИ, которые можно сформулировать, поскольку она крайне ограничена».
И Хайтен, и Келер были твердо убеждены, что они не поддерживают предоставление ИИ возможности принимать окончательные решения относительно применения ядерного оружия или даже предоставление того, что Келер назвал «последней информацией», тем, кто принимает решения.
Но в условиях невероятного давления реальной ядерной войны сможем ли мы на самом деле знать, какую роль играет ИИ?
Почему нам следует беспокоиться об ИИ в ядерной сфере
В ядерных кругах стало клише говорить о том, что критически важно держать «человека в курсе» при принятии решения о применении ядерного оружия. Когда люди используют эту фразу, они, вероятно, имеют в виду кого-то вроде Джека Шанахана.
Генерал-лейтенант ВВС в отставке Шанахан фактически сбросил ядерную бомбу B-61 с истребителя F-15. (К счастью, невооруженную, на учениях.) Позже он командовал Национальным центром воздушно-десантных операций E-4B, известным как «самолёт Судного дня» — командным центром для того, что останется от американской исполнительной власти в случае ядерной атаки.
Другими словами, он приблизился к пока ещё только теоретическому опыту ведения ядерной войны ближе, чем кто-либо другой. По его словам, пилотам, выполнявшим учебные полёты по ядерной бомбардировке, была предоставлена возможность взять с собой повязку на глаз. В случае реального взрыва взрыв мог ослепить пилотов, а повязка на глазу позволяла сохранить хотя бы один глаз работоспособным во время полёта домой.
Но в случае термоядерной войны никто не рассчитывал на полёт домой. «Это была самоубийственная миссия, и люди это понимали», — рассказал Шанахан изданию «Вокс».
Последним назначением за 36 лет службы в ВВС США Шанахан стал первый руководитель Объединенного центра искусственного интеллекта Пентагона.
Наблюдая изнутри и за ядерной стратегией, и за стремлением Пентагона к автоматизации, Шанахан обеспокоен тем, что ИИ будет проникать во все большее количество аспектов системы командования и управления ядерными силами, хотя никто на самом деле этого не хочет и не понимает в полной мере, как это влияет на систему в целом.
«В этом и заключается коварная природа этого явления, — говорит он. — По мере того, как всё больше и больше подобных вещей добавляются в разные части системы, по отдельности они всё равно работают, но, когда их объединяют в единое целое, это уже совсем другая проблема».
На самом деле, именно неисправные технологии, а не воинствующие лидеры, в прошлом чаще подводили нас к опасной близости от ядерного уничтожения.
В 1979 году советник по национальной безопасности Збигнев Бжезинский был разбужен звонком, сообщившим о запуске 220 ракет с советских подводных лодок у берегов Орегона. Незадолго до того, как Бжезинский позвонил, чтобы разбудить президента Джимми Картера, его помощник перезвонил: «Это была ложная тревога, вызванная неисправным компьютерным чипом в системе связи». (После того, как он поспешил позвонить президенту, Бжезинский решил не будить жену, полагая, что ей будет лучше умереть во сне.)
Четыре года спустя советский подполковник Станислав Петров решил не сообщать сразу своему начальству о запуске ракеты, обнаруженном советской системой раннего предупреждения «Око». Оказалось, что компьютерная система ошибочно приняла солнечный свет, отражённый от облаков, за запуск ракеты. Учитывая, что советская военная доктрина предусматривала полномасштабное ядерное возмездие, его решение, возможно, спасло миллиарды жизней.
Всего через несколько недель после этого СССР привел свои ядерные силы в состояние повышенной боевой готовности в ответ на американские учения в Европе под названием «Able Archer 83», которые советское командование сочло подготовкой к реальному нападению.
Современные модели рассуждений ИИ гораздо более совершенны, но всё ещё подвержены ошибкам. По имеющимся данным, спорная система ИИ-наведения, известная как «Лаванда», которую израильские военные использовали для поражения предполагаемых боевиков ХАМАС во время войны в Газе, имела уровень ошибок до 10%.
Модели ИИ также могут быть уязвимы для кибератак или более тонких форм манипуляции. В американских СМИ сообщалось, что российские пропагандистские сети распространяли дезинформацию, направленную на искажение ответов западных потребительских чат-ботов на основе ИИ. Более продвинутые методы могут привести к тому же результату с системами ИИ, предназначенными для обнаружения перемещения ракет или подготовки к применению тактического ядерного оружия.
И даже если вся собранная системой информация достоверна, есть основания опасаться, что системы ИИ будут рекомендовать варианты действий. Известно, что модели ИИ полезны ровно настолько, насколько полезны данные, которые в них поступают, и их эффективность повышается с увеличением объёма данных для обработки.
Но когда речь заходит о том, как вести ядерную войну, «реальных примеров этому нет, за исключением двух случаев в 1945 году», — отмечает Шанахан. «В остальном это всё теория. Это доктрины, настольные игры, эксперименты и симуляции. Это не реальные данные. Модель может выдать что-то, что покажется невероятно правдоподобным, но будет ли это обосновано?»
Лин из Стэнфорда отмечает, что исследования показали, что люди часто оказывают чрезмерное почтение выводам, сгенерированным компьютером, — это явление известно как «предвзятость автоматизации». Противостоять этой предвзятости особенно сложно в ситуации, когда решается вопрос жизни и смерти, и времени на принятие критически важных решений мало, и когда соблазн передать немыслимое решение на аутсорсинг думающей машине может быть непреодолимым.
Потенциальным Станиславам Петровым эпохи ИИ также придется считаться с тем фактом, что даже разработчики продвинутых моделей ИИ часто не понимают, почему они генерируют те или иные ответы.
«Это всё ещё чёрный ящик», — сказала Элис Сальтини, ведущий специалист по ИИ и ядерному оружию, имея в виду внутренние процессы, происходящие в моделях продвинутого мышления. «Мы знаем, что он крайне уязвим для кибератак и что мы пока не можем полностью соответствовать человеческим целям и ценностям».
И хотя это все еще остается теорией, если худшие прогнозы скептиков в отношении ИИ окажутся правдой, существует также вероятность того, что высокоинтеллектуальная система сможет намеренно вводить в заблуждение людей, полагающихся на нее при принятии решений.
Идея о том, что человек «контролирует решение о применении ядерного оружия», может показаться утешительной. Но если человек принимает решение, основываясь на данных и рекомендациях ИИ, и у него нет времени исследовать процесс, который использует ИИ, возникает вопрос: что вообще означает этот контроль? Будет ли «человек в курсе» принимать решение или просто автоматически подписывать всё, что говорит ИИ?
Жажда скорости
По мнению Адама Лоутера, подобные аргументы не имеют никакого значения. Ядерный стратег, бывший советник Стратегического командования вооруженных сил США (STRATCOM) и соучредитель Национального института исследований сдерживания, Лоутер в 2019 году произвел фурор среди специалистов по ядерной технике, опубликовав статью, в которой утверждал, что Америке следует создать собственную версию российской системы «Мёртвая рука».
Система «Мертвая рука», официально именуемая «Периметр», была разработана Советским Союзом в 1980-х годах. Она давала операторам-людям приказы запустить оставшийся ядерный арсенал страны в случае, если датчики обнаруживали ядерную атаку, а советские лидеры больше не могли отдавать приказы самостоятельно.
Идея заключалась в сохранении сдерживания даже в случае первого удара, который уничтожит всю цепочку командования.
По словам Лоутера, система в стиле American Perimeter не будет представлять собой программу типа ChatGPT, генерирующую варианты на лету, а будет автоматизированной системой, выполняющей команды, которые президент уже определил заранее на основе различных сценариев.
Лоутер считает, что ИИ может помочь президенту США принять решение в тот момент, исходя из уже согласованного плана действий.
Суть не в том, что ИИ никогда не ошибается. Дело в том, что он, вероятно, ошибается меньше, чем человек в самой стрессовой ситуации, какую только можно себе представить.
«Моя предпосылка такова: способен ли ИИ на 1% лучше людей принимать решения в условиях стресса? — говорит Лоутер. — Если ответ — на 1%, то это более совершенная система».
По мнению Лоутера, 80-летняя история ядерного сдерживания, включая случаи, близкие к катастрофе, является доказательством того, что система способна эффективно предотвращать катастрофу, даже если происходят ошибки.
«Если ваш аргумент: «Я не доверяю людям в разработке хорошего ИИ», то мой вопрос: «Почему вы доверяете им принятие решений о ядерном оружии?» — сказал он.
Эра ядерного ИИ, возможно, уже наступила
Проникновение ИИ в системы управления ядерным оружием, вероятно, станет определяющей чертой так называемого третьего ядерного века и, возможно, уже происходит, хотя национальные лидеры и военные командиры твердо заявляют, что у них нет планов передавать машинам полномочия по использованию оружия.
Но Шанахан обеспокоен тем, что соблазну всё большей автоматизации системы может оказаться трудно противостоять. «Это лишь вопрос времени, когда высокопоставленные чиновники Министерства обороны, действующие из лучших побуждений, скажут: «Ну, мне нужна эта штука», — сказал он. «Их завалят какими-нибудь серьёзными предложениями» от оборонных подрядчиков.
Еще одним стимулом для большей автоматизации ядерной системы может стать ситуация, когда США сочтут, что их противники получают от этого преимущество — динамика, которая стимулировала наращивание ядерных вооружений с начала холодной войны.
Китай предпринимает активные усилия по интеграции ИИ в свой военный потенциал. Недавнее исследование китайской оборонной промышленности расхваливало потенциальную новую систему, которая могла бы использовать ИИ для интеграции данных с подводных датчиков для отслеживания атомных подводных лодок, снижая их шансы на побег до 5%. Доклад вызывает скептицизм: «прозрачность океанов» — давно ожидаемая возможность, которая, вероятно, ещё далека от реализации, но эксперты считают вполне обоснованным предположение, что китайские военные планировщики ищут возможности использования ИИ для улучшения своего ядерного потенциала, стремясь нарастить свой арсенал, чтобы догнать США и Россию.
Китай — одна или несколько ядерных держав мира мог повысить автоматизацию отдельных частей своих систем управления ядерными силами, чтобы не отставать от конкурентов.
«Когда имеешь дело с такой сложной системой, как командование и управление, и сценариями, где скорость так же тревожно необходима, как в реальной ядерной войне, аргументы в пользу всё большей автоматизации могут оказаться неоспоримыми. А учитывая нестабильность и всё более жестокое состояние мировой политики, возникает искушение спросить, уверены ли мы, что нынешние лидеры мира примут более правильные решения, чем машины, если этот кошмарный сценарий когда-нибудь осуществится».
Однако Шанахан, размышляя о своей работе в ядерной отрасли Америки, по-прежнему считает, что решения, имеющие столь серьезные последствия для столь многих людей, должны приниматься людьми.
«Для меня это всегда был процесс, управляемый человеком, к лучшему или к худшему», — сказал он. «У людей есть свои недостатки, но в этом мире мне всё же комфортнее, когда решения принимают люди, чем когда-либо машина, которая может действовать не так, как люди когда-либо считали возможным».
*вражье сми
