Накануне и после новогодних праздников многие мировые научные центры перечисляли возможные очаги конфликтов в мире в 2022 году. Наиболее вероятным большинство считает военное столкновение на Украине. Другой возможный конфликт — между Китаем и США по поводу Тайваня. Называют также удар Израиля по Ирану.
К этому списку можно добавить ещё несколько горячих и тлеющих точек.
Противостояние с участием крупных держав выглядит все более опасным. Более того, государства яростно соревнуются, даже если они не воюют напрямую. Они борются с кампаниями по дезинформации, вмешательством в выборы, экономическим принуждением и использованием мигрантов. Крупные и региональные державы соперничают за влияние, часто через местных союзников, в зонах боевых действий.
На фоне столь высокой напряженности в мире нельзя не упомянуть еще одно из полей противоборств – киберпространство. Уязвимости в кибербезопасности представляют собой постоянную угрозу. То, как государства воспринимают и интерпретируют риск и неопределенность в киберпространстве, сильно различается. Хотя перспективы неконтролируемой эскалации или опасения по поводу «кибер-Перл-Харбора» могут быть преувеличением, реальность по-прежнему заключается в том, что лица, принимающие решения на уровне государства, оценивающие условия и действия, предпринимаемые в киберпространстве, в настоящее время способствуют нестабильности и поощряют рискованное поведение.
В январе 2022 г. был опубликован отчёт Исследовательской группы Конгресса США «Кибербезопасность: политика сдерживания», в котором рассматривается политика сдерживания, способы ее реализации и варианты для Конгресса. Автор доклада — Крис Джайкаран, аналитик в области кибербезопасности Исследовательской службы Конгресса США — отмечает, что многие директивные органы рассматривают сдерживание как движущую политическую позицию для противодействия атакам в киберпространстве. Тем не менее, сдерживание нападений остается недостижимой целью, поскольку страны расходятся во мнениях относительно приемлемого поведения, а преступные группы множатся.
Политика сдерживания опирается на установленные правила поведения, способность обнаруживать их нарушения и возможность применения санкций против нарушителей.
Киберпространство бросает вызов устоявшейся стратегии сдерживания. Традиционно сдерживание опирается на несколько известных субъектов, обладающих ресурсами для развития и поддержания потенциала (а также на намерение его использовать), и на историю применения известных санкций в случае нарушения норм.
Комиссия по киберпространству (Cyberspace Solarium Commission, которая была учреждена Конгрессом в 2019 г. и названа по аналогии c проектом «Солярий», созданным президентом Д. Эйзенхауэром в 1953 г. для определения согласованной стратегии военно-политического сообщества США по противодействию Советскому Союзу – прим. Е.Л., В.О.) продвигала стратегический подход «многоуровневого киберсдерживания» угроз в киберпространстве. Этот подход в виде концепции был представлен в отчете Комиссии и повторен в последующих официальных документах, в которых было сделано 109 рекомендаций для Конгресса и президента Соединенных Штатов.
Что касается норм, то две рабочие группы ООН согласовали 11 норм ответственного поведения государств в киберпространстве. Однако эти нормы находятся в зачаточном состоянии, и еще предстоит увидеть, как страны будут придерживаться и следовать этим нормам. Чтобы усилить возможности реагирования на атаки, Европейский Союз разработал «Инструментарий кибердипломатии», описывающий действия, которые могут ожидать преступники, если они проводят кибератаки против государств-членов ЕС.
Наконец, чтобы лучше структурировать федеральное управление киберсдерживанием, Конгресс и исполнительная власть Соединенных Штатов добивались создания в Государственном департаменте бюро, ответственного за дипломатию в киберпространстве. Такое бюро могло бы возглавить усилия, связанные с установлением норм, иностранной помощью, и меры укрепления доверия. Однако у политиков остаются нерешенными вопросы, в том числе о том, как бюро будет координировать свои действия с другими федеральными агентствами, многие из которых обладают значительными техническими возможностями и уже участвуют в международных форумах, и в какой степени бюро будет нести ответственность за представление Соединенных Штатов на многосторонних форумы для решения вопросов кибербезопасности.
В докладе отмечается, что правительство Соединенных Штатов уже давно стремится эффективно сдерживать (или останавливать) кибератаки и реагировать на атаки таким образом, чтобы предотвратить негативные последствия. Эти цели кажутся труднодостижимыми, поскольку частота кибератак, от мелких до значительных, со временем увеличивается. Атаки показывают, что сдерживание в киберпространстве труднодостижимо. Существуют нюансы, связанные с кибератаками, которые переворачивают прежние представления о политике сдерживания. Несмотря на проблемы, многие рассматривают сдерживание как необходимый шаг к установлению порядка в киберпространстве и как основу для будущих действий. Политики продолжают следовать стратегии сдерживания киберпространства и кибератак.
Комиссия по кибербезопасности
Целью Комиссии по киберпространству является «выработка консенсуса в отношении стратегического подхода к защите Соединенных Штатов в киберпространстве от кибератак, чреватых значительными последствиями», а её мандат включает рассмотрение вопросов сдерживания как одного из вариантов защиты США – наряду с продвижением нормативных режимов и срывом враждебных атак. Мандат предписывает Комиссии ей: рассмотреть и принять решение о том, какие режимы, основанные на нормах, должны стремиться установить Соединенные Штаты; как Соединенные Штаты должны обеспечивать соблюдение этих норм; какой ущерб Соединенные Штаты должны быть готовы нести в рамках стратегии сдерживания или постоянного отрицания; какие атаки требуют ответа в рамках стратегии сдерживания или постоянного отрицания; и как Соединенные Штаты могут наилучшим образом реализовать эти стратегии.
В своем итоговом отчете Комиссия выступила за стратегический подход многоуровневого киберсдерживания и предложила три способа достижения этого конечного состояния: формирование ответственного поведения в киберпространстве (shape behavior); недопущение получения противниками выгод с помощью кибератак (deny benefits); повышение издержек за счёт поддержания угрозы возмездия (impose costs). Эти компоненты уже составляют основу американского подхода к киберсдерживанию, и доклад Комиссии по киберпространству переосмысливает их как часть стратегии.
Факторы сдерживания
Стратегии кибербезопасности отрицания и сдерживания — это разные подходы к достижению одной и той же цели: более безопасной цифровой среде. Эти стратегии не исключают друг друга. Как следует из рекомендаций Комиссии, отдельные виды деятельности могут служить обеим стратегиям, а сочетание видов деятельности может иметь мультипликативный эффект. Как правило, стратегии сдерживания в киберпространстве направлены на то, чтобы повлиять на поведение противника, отговаривая его от участия в нежелательных действиях. Напротив, стратегии отрицания направлены на улучшение технологий, процесса или практики, чтобы снизить вероятность успеха кибератаки. Министерство обороны разработало описания «опровержения» и «сдерживания», которые используются в этом отчете в контексте кибербезопасности для классификации действий и предоставления основы для обсуждения вариантов политики.
Отрицание — это действие, направленное на воспрепятствование или отказ противнику в использовании территории, территории персонала или объектов. Это может включать разрушение, удаление, загрязнение или возведение препятствий.
Сдерживание предотвращает действия противника за счет представления реальной угрозы неприемлемого противодействия и веры в то, что стоимость действия перевешивает предполагаемые выгоды.
Определение отрицания можно интерпретировать как предотвращение использования противником чего-либо. Если вдуматься, многие потенциальные действия в области кибербезопасности удовлетворяют этому определению. Например, нарушение работы интернет-инфраструктуры противника (например, ботнета) препятствует злонамеренному использованию им киберпространства в качестве домена, а правильная настройка и обслуживание собственных информационно-коммуникационных технологий (ИКТ) лишает злоумышленника возможности использовать их.
Определение сдерживания можно интерпретировать как воздействие на противника таким образом, чтобы предотвратить его злонамеренное поведение. В этой модели сдерживание опирается на нормы и продемонстрированные возможности. Странам необходимо будет понять, какое поведение другие страны считают приемлемым, а какое неприемлемым (нарушающим) поведением. Правительству потребуются инструменты и возможности влиять на поведение других правительств, а также негосударственных субъектов, другим странам нужно будет поверить, что эти возможности будут использованы, и о намерениях правительства необходимо будет сообщить потенциальным противникам. Можно утверждать, что для киберпространства эти условия зарождаются или не существуют.
Традиционная политика сдерживания опирается на несколько условий: разработка, поддержание и использование определенных наступательных возможностей требует больших затрат; существует ограниченный набор участников с такими возможностями; если субъекты решат использовать возможности, то они понесут известные последствия; и есть история соблюдения норм, на которую можно положиться.
Киберпространство в свою очередь, характеризуется обратными этим условиям: стоимость входа для потенциальных злоумышленников низка; существует множество потенциальных злоумышленников (как государственных, так и негосударственных); ответные последствия успешных кибератак неоднозначны или неизвестны; и нет долгой истории соблюдения норм.
Именно по этой причине некоторые предполагают, что сдерживание в киберпространстве не является жизнеспособной стратегией. Комиссия признала, что аналогии сдерживания времен «холодной войны», вероятно, неприменимы в киберпространстве, однако посчитала, что некоторые формы сдерживания могут быть достижимы, особенно за счет улучшения мер безопасности и формирования поведения.
Эксперты по кибербезопасности могут помочь определить и сформулировать проблемы, которые следует учитывать при изучении стратегий сдерживания, но спектр действий, доступных государственным органам для оказания влияния на противников, намного шире, чем в сфере кибербезопасности. Потребуются эксперты в разных областях, чтобы обеспечить междисциплинарные решения для эффективных стратегий сдерживания. К экспертам, к которым следует обратиться за консультацией при разработке мер сдерживания, относятся эксперты по конкретным странам (например, России, Китаю, Северной Корее и Ирану), а также эксперты по потенциалу, который стремятся использовать политики (например, дипломатические, разведывательные, военные или экономические). Эта позиция подкрепляется экспертами по кибербезопасности, которые рассматривают кибератаки как вызов для компьютерного сообщества, но решения которого не могут быть чисто техническим. Правительство Соединенных Штатов уже давно придерживается политики, согласно которой ответы на кибератаки будут пропорциональными, но не могут ограничиваться только операциями в киберпространстве. Эксперты считают, что правительство США не полностью приняло эту позицию, но это может быть необходимо для сдерживания будущих кибератак.
Ограничения, связанные с реагированием на кибератаки только в киберпространстве
Правительству необходимы исследования и операционная безопасность для обнаружения, разработки и развертывания наступательных кибервозможностей таким образом, чтобы их можно было многократно использовать и проводить скрыто. Это особенно верно для атак на системы с регламентированными процедурами безопасности, например, в иностранном правительственном агентстве.
В момент обнаружения атаки доступ к взломанным системам может исчезать, могут быть собраны доказательства, которые связывают атаку с теми, кто за ней стоит, и дополнительные операции, которые они выполняют, могут стать уязвимыми, особенно если они используют общую операционную инфраструктуру или методы, тактику или процедуры. В случае, если Соединенные Штаты раскроют свои инструменты и возможности в рамках публичного дискурса, они также могут потерять возможность их использования. Для публичных дебатов о возможностях также важно учитывать разницу между обычным оружием и наступательными кибервозможностями в киберпространстве. Защита от этого оружия может также использовать какой-либо другой инструмент, применяемый в этой области. Например, баллистическая ракета может быть перехвачена противоракетной системой в воздухе до того, как она поразит намеченную цель. Однако наступательные кибервозможности обычно используют уязвимость в отношении поля боя или уязвимость в отношении самой системы или сети. Таким образом, защита от кибератаки может включать в себя разработку и использование нового инструмента, или исправление существующей системы, чтобы смягчить эффект наступательного киберинструмента.
Нормы
«Нормы, — утверждают некоторые специалисты, — можно понимать как правила поведения, запрещающие или поощряющие определенные действия». Проблема нормативного поведения в киберпространстве заключается в том, что киберпространство — это область, в которой происходят действия, а операции в киберпространстве — это инструменты национальной власти, которые страны могут использовать по своему выбору. Поскольку Конгресс Соединенных Штатов изучает кибератаки и ответы на них, полезно рассмотреть двойственность того, что киберпространство является одновременно областью и возможностью. Например, кибератаки могут происходить в киберпространстве (атаки с целью кражи данных и личных данных) и могут происходить против самого киберпространства (атаки на поставщиков облачных услуг). В обоих случаях используются и повреждаются информационные и коммуникационные технологии (ИКТ). Именно этот вред государства могут попытаться сократить с помощью норм.
Разработка норм в контексте сдерживания кибератак еще больше осложняется тем фактом, что кибероперации могут происходить во всем спектре конфликтов, начиная от локальных ненасильственных инцидентов и заканчивая гораздо более серьезными, с потенциально летальными последствиями.
Использование военного потенциала в ответ на преступную деятельность не является нормативным. Однако неоднократные кибератаки заставили политиков исследовать новые способы использования возможностей, поскольку злоумышленники активизировали атаки, и последствия этих атак стали более серьезными. Одним из таких случаев является борьба с программами-вымогателями, приводящих к разрушению инфраструктуры США, которое может угрожать гражданскому населению (например, атака программ-вымогателей на больницу). В ответ лица, принимающие решения, задействовали военные возможности, чтобы узнавать о бандах, занимающихся программами-вымогателями, и действовать против них.
Количество кибератак может увеличиться, поскольку страны рассматривают киберпространство как новую операционную область без установленных правил взаимодействия. В такой слабой среде возможности проверить технику, тактику, и процедуры многочисленны как для атак, так и для ответов. Национальный совет по разведке оценил перспективы международных норм и классифицировал их:
· Наименее вероятно, что будут оспорены нормы, широко принятые нациями и нарушения которых широко осуждаются (например, национальный суверенитет).
· Нормы, которые могут подвергаться региональным вариациям, это те, где их признание не является широким (например, защита окружающей среды).
· Нормы, которым грозит ослабление, — это нормы, в отношении которых крупная национальная держава уже нарушила их или реализация которых была ограничена (например, открытая торговля).
·Нормы на раннем этапе разработки — это нормы, которые не полностью согласованы, не получили широкого признания или будущее которых неясно (например, кибербезопасность).
В 2015 году Группа правительственных экспертов по разработкам в сфере информатизации и телекоммуникаций (GGE) опубликовала записку, в которой согласилась с 11 нормами. В 2021 году Рабочая группа открытого состава (OEWG) выпустила свой окончательный содержательный отчет, усиливающий те же 11 норм.
Этими нормами ответственного поведения государства в киберпространстве являются:
1. Государства соглашаются сотрудничать;
2. Государства будут рассматривать всю исходную информацию при заявлении авторства;
3. Государства не позволят сознательно использовать свою территорию для проведения кибератак;
4. Государства будут обмениваться информацией;
5. Государства будут уважать права человека и использовать для этого ИКТ;
6. Государства не будут сознательно использовать ИКТ для нанесения ущерба критически важной инфраструктуре;
7. Государства будут надлежащим образом защищать свою критически важную инфраструктуру;
8. Государства ответят на просьбы о помощи от других стран;
9. Государства предпримут шаги для обеспечения безопасности цепочек поставок;
10. Государства будут поддерживать сообщение об уязвимостях;
11. Государства не будут атаковать группы реагирования на компьютерные чрезвычайные ситуации.
По сравнению с другими международными нормами, например, касающимися национального суверенитета и обороны, нормы кибербезопасности находятся на ранней стадии разработки и принятия. Еще неизвестно, как страны будут действовать в рамках этих норм.
Правительство США уже предприняло открытые действия в поддержку некоторых из этих норм. Например, Разведывательное сообщество США опубликовало информационный документ об атрибуции кибератак, в котором учитывается информация из открытых источников. Конгресс Соединенных Штатов поручил федеральным агентствам привлекать страны-партнеры к вопросам кибербезопасности и расширить деятельность по обмену информацией.
Усилия ООН по обеспечению безопасности ИКТ идут по двоякому пути в области безопасности. Первая область относится к демилитаризации и деэскалации, поскольку она касается государственных акторов. Именно в этой области были разработаны эти 11 норм. Вторая область посвящена киберпреступности и негосударственным субъектам. Россия предложила резолюцию ООН о создании специальной группы по борьбе с киберпреступностью и государственным суверенитетом, которая была одобрена Генеральной Ассамблеей.
Варианты реагирования
Безусловно, способность выявлять преступников является ключевым элементом сдерживания. Если бы преступники считали, что их никогда не опознают, им не нужно было бы опасаться ответных действий. Исторически сложилось так, что препятствия для эффективного реагирования включали сложность адекватного установления причин кибератак, времени, необходимого для этого, и доступности информации, связанной с установлением причин. Тем не менее, правительство США недавно опубликовало информацию о множестве кибератак, приписывая их не только нациям или преступным организациям, но и отдельным лицам. Правительство сократило время, необходимое для установления этих атрибуций, а также обнародовало информационные агентства, используемые для определения потенциально виновных лиц.
Наличие уровня атрибуции является ключевым шагом в реагировании на кибератаки. Но как только страна поверит в потенциальных преступников, она должна будет решить, будут ли против этих преступников применяться инструменты, какие инструменты против каких преступников и как долго.
Определение списка вариантов, которые страны намерены использовать в ответ на кибератаки, служит двум потенциальным целям: (1) это сигнализирует противникам о действиях, которые страны-жертвы готовы предпринять, чтобы отомстить за атаки; и (2) он публикует варианты для своих граждан, чтобы они могли обсудить со своими избранными лидерами уместность и пригодность этих вариантов.
Хотя обсуждение конкретных технических мер реагирования на кибератаки с использованием наступательных кибервозможностей может быть сложным, общее обсуждение инструментов, доступных правительству США, и условий, при которых определенные инструменты могут быть развернуты, не вызывает затруднений. Национальный директор по кибербезопасности (National Cyber Director) Крис Инглис признал важность всех инструментов национальной власти для обеспечения подотчетности в киберпространстве, а также полезность Совета национальной безопасности в координации этих инструментов.
Другие правительства в целом продемонстрировали готовность более открыто обсуждать варианты реагирования на кибератаки. Европейский союз (ЕС) разработал «Инструментарий кибердипломатии», чтобы перечислить и описать действия, которые ЕС может предпринять в ответ на кибератаки. Эта политика все еще относительно нова, и еще неизвестно, как ЕС решит придерживаться ее в будущем.
Наличие потенциальных вариантов реагирования, которые страна может использовать против исполнителей кибератак, не обязательно связывает эту страну только с этими вариантами. В качестве инструмента сдерживания заявленные варианты могут создать потенциальный страх перед репрессалиями со стороны злоумышленника. Обсуждение того, какие инструменты могут быть обнародованы в качестве возможных ответных мер, дает возможность привлечь международное сообщество к нормотворческой деятельности и выработке нормативного поведения. И то, и другое может обеспечить путь к повышению стабильности в киберпространстве.
Варианты для Конгресса США
За последние два года количество рекомендаций по политике отрицания, вынесенных Комиссией и принятых Конгрессом или Президентом, превысило количество рекомендаций по целенаправленным действиям по сдерживанию. Конгресс и президент имеют опыт реализации стратегии отрицания для достижения кибербезопасности. Нерешенные политические рекомендации, касающиеся стратегии сдерживания, включают
· Создание бюро в Государственном департаменте США (близится к реализации);
· Укрепление норм ответственного поведения государства в киберпространстве (в процессе);
· Участие в форумах по установлению международных стандартов (в процессе);
· Улучшение наращивания потенциала и финансирования иностранной помощи (в процессе);
· Разработка мер по укреплению доверия (отложено);
·Применение санкций и принудительных мер в сфере торговли (в планах);
·Улучшение атрибуции (отложенное).
Новое государственное бюро
Комиссия рекомендовала создать в Администрации президента должность национального директора по кибербезопасности для надзора за межведомственной деятельностью, связанной с национальной кибербезопасностью, которая была введена в действие Законом Уильяма М. (Мак) Торнберри о полномочиях национальной обороны на 2021 финансовый год.
Другая рекомендация касается создания бюро в Государственном департаменте для решения вопросов киберпространства. Такое бюро было создано во время доклада Консультативного совета по международной безопасности Д.Трампа — Бюро безопасности киберпространства и новых технологий. Оно возглавит дипломатические усилия правительства США в области кибербезопасности. Счетная палата правительства (GAO) обнаружила, что его создание было поспешным, а его обязанности и отношения были плохо определены. Администрация Д.Байдена приостановила работу над бюро до октября 2021 года. С тех пор Госсекретарь Э.Блинкен объявил о создании двух новых должностей в Государственном департаменте для решения кибер- и цифровых проблем. Первым должен быть посол по особым поручениям, возглавляющий Бюро киберпространства и цифровой политики. Он сосредоточится на сдерживании кибербезопасности, политике и переговорах. Второй будет специальным посланником по критически важным и новым технологиям и будет отвечать за координацию политики со странами-партнерами в области искусственного интеллекта, квантовых вычислений и других областях, связанных с технологиями. Эти события произошли после того, как Палата представителей приняла Закон о кибердипломатии от 2021 года (HR 1251).
Международные нормы и установление стандартов
Две рекомендации Комиссии касаются норм кибербезопасности: в одной обсуждаются новые нормы, а в другой вносятся предложения по привлечению международных органов к разработке стандартов в области ИКТ. Эта деятельность дает Соединенным Штатам возможность моделировать поведение и руководить развитием международного порядка и операций в области ИКТ.
В какой-то степени Соединенные Штаты сегодня участвуют в этой деятельности. Офис координатора по кибервопросам (S/CCI) Государственного департамента работал над разработкой 11 норм ответственного поведения государства в киберпространстве. Многие федеральные агентства участвуют в деятельности по разработке международных стандартов.
Если политики решат использовать варианты продвижения международных норм и/или усиления роли США в нормотворчестве, для этого есть как существующие, так и новые возможности. Конгресс может поручить агентству координировать деятельность федерального правительства по установлению норм или предоставить экспертизу другому агентству для информирования о деятельности по разработке и продвижению норм. Сегодня это обычно делается для других видов деятельности в области кибербезопасности. Например, Закон о кибербезопасности от 2015 г. (PL 114-113, раздел N) предписывает министру внутренней безопасности разработать программу добровольного обмена информацией с частным сектором, но также предписывает министру работать с генеральным прокурором над процедурами участия в программе обмена информацией.
Конгресс также может поручить агентству участвовать в форумах по установлению норм. Несмотря на существование 11 норм ответственного поведения государства в киберпространстве, существуют возможности для продвижения этих принципов, углубления исследований норм и привлечения неправительственных групп к исследованиям. Например, две группы гражданского общества работают над достижением мира в киберпространстве — Глобальная комиссия по стабильности киберпространства и Парижский призыв к доверию и безопасности в киберпространстве (Парижский призыв). Центр передового опыта по совместному кибернетическому противостоянию Организации Североатлантического договора (НАТО), выделяет стипендии на исследования по операциям в киберпространстве. Среди заинтересованных сторон из частного сектора корпорация Microsoft призвала правительство и частный сектор работать вместе над созданием новых норм для киберопераций, подобных Женевской конвенции.
Сдерживание действий противника в киберпространстве остается сложной задачей. В киберпространстве есть нюансы, которые усложняют возможность применения современных концепций сдерживания к кибератакам. Установление норм, наличие способов обнаружения нарушений и разработка заслуживающих доверия вариантов реагирования на атаки — все это способствует стратегии сдерживания.
Сдерживание и искусственный интеллект
В последние годы революция в области искусственного интеллекта вызвала волну интереса к приложениям, использующим его. Страны мобилизуются для использования искусственного интеллекта в целях национальной безопасности и в военных целях. Поэтому жизненно важно оценить, как милитаризация ИИ может повлиять на международную стабильность и как побудить военных ответственно применять ИИ. Для этого требуется понимание особенностей ИИ, способов, которыми он может влиять на военные действия, и рисков для международной стабильности, возникающих в результате милитаризации искусственного интеллекта.
В докладе Центра новой американской безопасности «ИИ и международная стабильность: Риски и меры укрепления доверия», опубликованного 12 января 2021 г. (Авторы: Майкл Горовиц и Пол Шарре) рассматриваются вопросы, связанные с искусственным интеллектом и его использованием на поле боя. Приложения искусственного интеллекта могут сформировать будущий характер войны. Их использование создает значительные риски для международной стабильности. Эти риски связаны с широкими аспектами ИИ, которые могут повлиять на ведение войны, увеличить риски непреднамеренного конфликта, что опасно особенно в таких областях, как ядерные операции. Для снижения этих рисков и содействия международной стабильности в докладе рассматривается возможность использования мер укрепления доверия, основанных на общих интересах всех стран в предотвращении непреднамеренной войны.
ИИ — это технология общего назначения, сродни компьютерам или двигателю внутреннего сгорания, а не дискретная технология, аналогичная ракетам или самолетам. Таким образом, хотя опасения по поводу “гонки вооружений ИИ” значительно преувеличены, существуют реальные риски. Кроме того, несмотря на риторику многих национальных лидеров, военные расходы на искусственный интеллект на сегодняшний день относительно скромны. Вместо яростной гонки вооружений стремление военных к ИИ больше похоже на рутинное продвижение новых технологий и продолжение многолетней тенденции внедрения компьютеров, сетей и других информационных технологий.
Тем не менее, внедрение искусственного интеллекта в приложения национальной безопасности и военные действия создает реальные риски. Однако признания рисков недостаточно. Для их решения требуется изложить предложения по практическим шагам, которые государства могут предпринять для минимизации рисков, связанных с конкуренцией военного ИИ.
Один из подходов, который могли бы использовать государства, — это принятие мер укрепления доверия (МД): односторонние, двусторонние и/или многосторонние действия, которые государства могут предпринять для предотвращения непреднамеренного военного конфликта.
В докладе рассмотрены некоторые потенциальные риски для международной стабильности, возникающие в результате военного применения ИИ, в том числе способы, которыми ИИ может влиять на характер войны, риски, основанные на нынешних ограничениях технологии ИИ, и риски, связанные с некоторыми конкретными областями, такими как ядерные операции, в которых внедрение ИИ может создать проблемы для стабильности.
Военное использование ИИ: Риск для международной стабильности?
Военные заинтересованы в том, чтобы оставаться впереди своих конкурентов или, по крайней мере, не отставать. Национальные вооруженные силы всячески пытаются избежать применения устаревших слабоэффективных технологий и поэтому, как правило, будут использовать новые, которые предоставляют им новые возможности. В то время как стремление к новым технологиям является нормальным явлением, некоторые технологии вызывают озабоченность из-за их воздействия на стабильность или усиления их смертоносного характера. Например, на рубеже ХХ века великие державы обсуждали контроль над вооружениями, использующими новейшие технологии индустриальной эпохи, которые, как они опасались, могли бы коренным образом изменить ход военных действий. К ним относились подводные лодки, оружие, доставляемое с воздуха, взрывающиеся пули и ядовитый газ.
Разумно и, по сути, жизненно важно изучить, может ли интеграция ИИ в военные действия также представлять риски, на которые должны обратить внимание политики. Некоторые исследователи ИИ сами подняли тревогу по поводу использования ИИ военными и того, как это может увеличить риск войны и международной нестабильности. Однако понимание рисков, связанных с военным использованием ИИ, осложняется тем фактом, что ИИ не является дискретной технологией, такой как ракеты или подводные лодки. Как технология общего назначения, ИИ имеет множество применений, любое из которых может по отдельности различными способами улучшить или подорвать стабильность.
Военные только начинают процесс внедрения ИИ, и в ближайшей перспективе использование ИИ в военных целях, вероятно, будет ограниченным и постепенным. Со временем использование в противоборствах систем искусственного интеллекта может коренным образом изменить ведение войны. Даже если военные успешно справятся с проблемами безопасности и охраны, а системы искусственного интеллекта на местах будут надежными и безопасными, правильно функционирующие системы ИИ могут создать проблемы для международной стабильности.
Например, как китайские, так и американские ученые выдвинули гипотезу о том, что внедрение искусственного интеллекта и автономных систем в боевые действия может ускорить темпы ведения войны, неподвластные человеческому контролю. Китайские ученые называют эту концепцию «сингулярностью» поля боя, в то время как американцы придумали термин «гипервойна» для обозначения аналогичной идеи. Если военные действия разовьются до такой степени, что темпы ведения боя превысят человеческие способности, и, следовательно, контроль над военными операциями необходимо будет передать машинам, это создаст значительные риски для международной стабильности, даже если решение о делегировании представляется необходимым из-за конкурентного давления. Люди могут потерять контроль над управлением эскалацией напряженности, и прекращение войны может быть значительно затруднено, если машины будут сражаться в темпе, который быстрее, чем реакция людей.
Кроме того, делегирование контроля за эскалацией машинам может означать, что незначительные тактические ошибки или несчастные случаи, которые являются неотъемлемой частью военных операций в хаосе и тумане войны, включая братоубийство, жертвы среди гражданского населения и недальновидность военных, могут выйти из-под контроля и достичь катастрофических масштабов до того, как люди успеют вмешаться.
Логика сингулярности поля боя, или гипервойны, вызывает тревогу именно потому, что конкурентное давление может заставить вооруженные силы ускорить темпы операций и вывести людей «из цикла», даже если они этого не хотят, чтобы не отставать от противников. Тогдашний заместитель министра обороны США Роберт Уорк лаконично описал эту дилемму, задав вопрос: «Если наши конкуренты перейдут к терминаторам… и окажется, что терминаторы способны быстрее принимать решения, даже если они плохие, как бы мы отреагировали?» В то время как эта «ускорение гонки вооружений» часто характеризуется тактически в контексте смертоносных автономных систем оружия, та же динамика может проявляться в оперативном плане с использованием алгоритмов, разработанных в качестве средств принятия решений. Представление политиков о том, что война превращается в форму конфликта с доминированием машин, в котором люди должны уступить контроль машинам, чтобы оставаться конкурентоспособными, также может ускорить такое развитие событий, особенно если лица, принимающие решения, не имеют надлежащего знания об ограничениях ИИ. В крайнем случае переход к использованию алгоритмов для принятия военных решений в сочетании с более роботизированным полем боя потенциально может изменить характер войны. Война по-прежнему является продолжением политики другими средствами в самом широком смысле.
Война сегодня ведется людьми с помощью физических механизмов (ракет, пулеметов и т.д.) Но принятие решений почти повсеместно осуществляется людьми. По мере того, как алгоритмы будут приближаться к полю боя, некоторые решения будут приниматься машинами, даже если война останется деятельностью, управляемой человеком, которая ведется в человеческих политических целях. Широкая интеграция машинного процесса принятия решений на тактическом, оперативном и стратегическом уровнях ведения войны может иметь далеко идущие последствия. Интеллектуальные агенты (в компьютерной науке интеллектуальный агент — программа, самостоятельно выполняющая задание, указанное пользователем компьютера, в течение длительных промежутков времени. Интеллектуальные агенты используются для содействия оператору или сбора информации – прим. Е.Л. и В.О.), играющие в компьютерные стратегические игры в реальном времени, такие как StarCraft и Dota 2, уже продемонстрировали сверхчеловеческую агрессивность, точность и координацию. В других стратегических играх, таких как покер и го, интеллектуальные агенты продемонстрировали способность радикально корректировать стили игры и рисковать так, как человек не смог бы по психологическим причинам. Интеллектуальные агенты по воздушным боям также продемонстрировали сверхчеловеческую точность и использовали другую тактику в результате способности идти на больший риск, нежели человек.
Во многих отношениях системы искусственного интеллекта способны быть идеальными стратегическими агентами, не обремененными страхом, отвращением к потерям, пристрастием к обязательствам или другими человеческими эмоциональными или когнитивными предубеждениями и ограничениями. В то время как конкретные алгоритмы и модели, используемые для компьютерных игр, вряд ли будут корректно перенесены в боевые приложения, общие характеристики и преимущества агентов ИИ по сравнению с людьми могут найти применение в военной области. Как и в случае со скоростью, чистое влияние машинного принятия решений на психологию боя может коренным образом изменить характер войны.
Искусственный интеллект может оказывать и другие кумулятивные эффекты на ведение войны. Политики обычно оценивают поведение противников, основываясь на понимании их возможностей и намерений. Переход к ИИ может подорвать знания политиков в этих областях. Переход военных возможностей на программное обеспечение, уже осуществляемый, но, возможно, ускоренный внедрением искусственного интеллекта и автономных систем, может затруднить для политиков точную оценку военных возможностей. Таким образом, неполнота информации о возможностях противника возрастет, что, вероятно, увеличит риск просчета.
В качестве альтернативы может быть верно обратное—искусственный интеллект и автономные системы, используемые для сбора и анализа разведданных, могут радикально повысить прозрачность военной мощи, что облегчит директивным органам оценку военного потенциала и заблаговременное предвидение исхода конфликта. Эта дополнительная прозрачность может снизить риски просчетов и разрядить некоторые потенциальные конфликты до их начала.
Интеграция ИИ в военные системы в сочетании с переходом к более роботизированной структуре сил также может изменить порог принятия политиками рисков. Отчасти это происходит потому, что они считают, что меньше человеческих жизней находится под угрозой, отчасти потому, что системы ИИ обеспечивают большую точность, и отчасти, возможно, потому что они считают системы ИИ уникально опасными. Предполагаемая доступность систем искусственного интеллекта может изменить убеждения политиков в их способности предвидеть исход конфликтов.
Даже помимо описанных выше сценариев, можно разделить то, как военное применение ИИ может повлиять на международную стабильность, на две широкие категории: (1) риски, связанные с характером алгоритмов и их использованием военными, и (2) риски, связанные с военными, использующими ИИ для конкретных миссий.
Риски, связанные с ограничениями ИИ
Проблема военного внедрения ИИ заключается в том, что два ключевых риска, связанных с внедрением новых технологий, находятся в противоречии друг с другом. Во-первых, военные могут не принять — или принять достаточно быстро или правильно использовать — новую технологию, которая дает значительное преимущество на поле боя. В качестве недавнего примера, несмотря на общий рост рынка беспилотных летательных аппаратов военного назначения, внедрение автономных транспортных средств иногда становилось источником разногласий оборонном истеблишменте США, в основном основанное на дебатах о достоинствах этой новой технологии по сравнению с существующими альтернативами.
С другой стороны, военные могут слишком быстро внедрить незрелую технологию, сделав большую и не всегда верную ставку на новые и непроверенные предположения о том, как технология может изменить ведение войны. Учитывая естественные стимулы, которые есть у вооруженных сил в обеспечении своих возможностей на поле боя, можно разумно предположить, что вооруженные силы будут достаточно хорошо справляться с этими рисками, хотя и не без некоторых неудач. Но, уравновешивая риск несчастных случаев и отставание от противника в технологических инновациях, военные, возможно, ставят безопасность на второй план. Военные могут мириться с риском несчастных случаев в погоне за технологическим преимуществом, поскольку несчастные случаи являются обычным элементом военных операций, даже во время обучения. Тем не менее, бюрократические интересы в конечном счете состоят в обеспечении того, чтобы имеющиеся возможности были надежными и безопасными, а существующие институциональные процессы способны управлять рисками безопасности ИИ, пусть и с некоторой адаптацией.
Для военных баланс между рисками слишком медленного и слишком быстрого продвижения при внедрении ИИ осложняется тем фактом, что ИИ и, в частности, глубокое обучение, являются относительно незрелой технологией со значительными уязвимостями и проблемами надежности. Эти опасения усиливаются в ситуациях, когда может не быть достаточно данных для обучения систем машинного обучения. Системы машинного обучения обычно полагаются на очень большие наборы данных, которых может не быть в некоторых военных условиях, особенно когда речь идет о раннем предупреждении редких событий (таких как ядерная атака) или отслеживании поведения противника на многомерном поле боя. При обучении с неадекватными наборами данных или использовании вне узкого контекста их дизайна системы ИИ часто становятся ненадежными и хрупкими. Системы ИИ часто могут казаться обманчиво способными, хорошо работающими (иногда лучше, чем люди) в некоторых лабораторных условиях, а затем резко терпящими неудачу в меняющихся условиях окружающей среды в реальном мире. Кроме того, в настоящее время методы глубокого обучения могут быть недостаточно надежными для критически важных с точки зрения безопасности приложений, даже если они работают в пределах своих проектных спецификаций.
Например, опасения по поводу ограничений надежности алгоритмов для разных демографических групп препятствуют развертыванию технологии распознавания лиц в Соединенных Штатах, особенно в приложениях, используемых правоохранительными органами. Военные также должны быть обеспокоены техническими ограничениями и уязвимостями своих систем искусственного интеллекта. Военным нужны технологии, которые работают, особенно на поле боя. Соответственно, стратегия ИИ Министерства обороны (DoD) требует, чтобы системы ИИ были «устойчивыми, надежными и безопасными». Это, несомненно, правильный подход, но одновременно и вызов, по крайней мере, в ближайшей перспективе, учитывая проблемы надежности, с которыми сегодня сталкиваются многие алгоритмы.
Дополнительная проблема связана с динамикой дилеммы безопасности. Конкурентное давление может привести к тому, что страны будут проводить ускоренное тестирование и оценку (T&E) в стремлении использовать новые возможности ИИ раньше противников. Похоже, что аналогичное конкурентное давление, направленное на то, чтобы обойти других на рынке, усугубило риск несчастных случаев, связанных с системами ИИ в беспилотных автомобилях и автопилотах коммерческих самолетов. Военные, оценивающие систему ИИ с сомнительной надежностью, могут, и небезосновательно, почувствовать необходимость ускорить ее развертывание, если они считают, что другие принимают аналогичные меры. Исторически сложилось так, что это давление является самым высоким непосредственно перед и во время войн, когда соотношение риск/вознаграждение, связанное с новыми технологиями, может измениться из-за того, что на кону стоят реальные жизни.
Даже если военные системы ИИ будут надлежащим образом протестированы, использование ИИ для обеспечения более автономного поведения машин в военных системах сопряжено с дополнительным набором рисков. Делегируя принятие решений от людей к машинам, политики могут де-факто использовать силы с меньшей гибкостью и способностью понимать контекст, что затем может иметь пагубные последствия для стабильности кризиса и управления эскалацией. Хотя у машин есть много преимуществ в скорости и точности действий, сегодня машины пока еще не могут приблизиться к человеческому интеллекту в понимании контекста и гибкой адаптации к новым ситуациям. Эта хрупкость машинного принятия решений может быть особенно сложной задачей в предконфликтных кризисных ситуациях, когда напряженность между странами накаляется. Вооруженные силы соперничающих стран регулярно взаимодействуют в военизированных спорах ниже порога войны в различных спорных регионах (например, на границе между Индией и Пакистаном, границей между Китаем и Индией, Южно-Китайским морем, Черным морем, Сирией и т. д.).
Эти взаимодействия между развернутыми силами иногда чреваты опасностью эскалации из-за инцидентов или стычек, которые могут вызвать напряженность со всех сторон. Это представляет собой проблему для национальных лидеров, которые несовершенно управляют своими вооруженными силами. Однако сегодня развернутые вооруженные силы полагаются на принятие решений человеком. Люди могут понять общие указания своего национального руководства и намерения командира, такие как «защищать наши территориальные претензии, но не начинать войну». По сравнению с людьми, даже самые передовые системы искусственного интеллекта на сегодняшний день не способны понять общее руководство. Военные уже используют беспилотные транспортные средства (беспилотники) в оспариваемых районах, которые были замешаны в ряде эскалационных инцидентов в Восточно-Китайском море, Южно-Китайском море, Сирии и Ормузском проливе. Со временем, когда вооруженные силы наделят беспилотные транспортные средства более автономными функциями, эти функции могут усложнить взаимодействие в оспариваемых районах.
Автономные системы могут предпринимать действия, основанные на программировании, которые, хотя и не являются неисправностью, но отличаются от действий, которые командир требовал бы от человека, находящегося в аналогичной ситуации. Автономные системы будут просто следовать своей программе, какой бы она ни была, даже если эти правила больше не имеют смысла или несовместимы с намерениями командира в данной ситуации. Проблема усугубляется тем фактом, что командиры-люди не могут предвидеть все возможные ситуации, с которыми могут столкнуться передовые вооруженные силы в оспариваемых регионах. Использование автономных систем в условиях кризиса фактически вынуждает людей, принимающих решения, связывать себе руки заранее определенными действиями, даже если они этого не хотят.
Непреднамеренная эскалация не ограничивается только смертоносными действиями, такими как обстрел сил противника. Нелетальные действия, такие как пересечение территории другого государства, могут быть восприняты как эскалация. Даже если такие действия не ведут непосредственно к войне, они могут усилить напряженность, усилить подозрения в отношении намерений противника или разжечь общественные настроения.
Другая проблема связана с потенциальной неспособностью людей отключить автономные системы после их развертывания. Одна из причин использования автономной функциональности заключается в том, что беспилотные транспортные средства могут продолжать свои миссии, даже если они работают без надежных каналов связи с операторами-людьми. Когда между людьми-операторами и автономной системой нет канала связи, люди-операторы не смогут отозвать автономную систему, если политические обстоятельства изменятся так, что поведение системы больше не будет соответствующим им. Это может стать проблемой при деэскалации конфликта, если политические лидеры решат прекратить боевые действия, но не смогут отозвать автономные системы хотя бы на какое-то время. Результатом может стать продолжение боевых действий даже после того, как политические лидеры выскажутся за прекращение огня. Неспособность полностью прекратить боевые действия может также подорвать переговоры о перемирии, что приведет к продолжению конфликта.
Риски, связанные с использованием ИИ для конкретных военных задач
Внедрение ИИ в военные операции также может создавать риски при определенных обстоятельствах. Это связано с характером военной миссии, даже если система ИИ работает правильно и соответствует намерениям человека. Некоторые существующие исследования уже сосредоточены на пересечении ИИ с конкретными областями военных задач, в первую очередь ядерной стабильностью. Ядерная стабильность является очевидной проблемой, учитывая потенциальные последствия преднамеренного или непреднамеренного ядерного взрыва.
Потенциально рискованное применение ИИ распространяется не только на поле боя, но и на использование ИИ для помощи в принятии решений в таких областях, как раннее предупреждение и прогнозирование поведения противника. Например, инструменты ИИ для мониторинга, отслеживания и анализа огромных объемов данных о поведении противника для раннего выявления и предупреждения потенциальной агрессии имеют очевидную ценность. Однако у алгоритмов также есть известные ограничения и потенциально проблемные характеристики, такие как отсутствие прозрачности или объяснимости, неустойчивость перед лицом сдвигов в распределении данных и предвзятость автоматизации. Системы ИИ часто плохо работают в условиях новизны, что предполагает постоянную роль человеческого участия. В такой ситуации решающее значение будут иметь обучение и подготовка кадров для обеспечения ответственного использования ИИ в сценариях раннего предупреждения и прогнозирования.
Наконец, автономные системы создают новые проблемы непониманием в отношении того, было ли их поведение задумано командирами-людьми или на основании заложенного алгоритма. Даже если система работает так, как задумано, злоумышленники могут не знать, соответствует ли поведение автономной системы намерениям человека, из-за вышеупомянутых проблем управления и контроля. В кризисной ситуации это может создать двусмысленность в отношении того, как интерпретировать поведение автономной системы. Например, если автономная система открыла огонь по вооруженным силам страны, следует ли интерпретировать это как преднамеренный сигнал со стороны политических лидеров страны или как случайность?
Это, опять же, не новая проблема; аналогичная проблема существует с вооруженными силами, которыми командуют люди. Государства могут не знать, полностью ли действия развернутых сил противника соответствуют указаниям их политического руководства. Автономные системы могут усложнить эту динамику из-за неопределенности в отношении того, согласуются ли действия автономной системы с какими-либо предполагаемыми действиями человека.
Роль мер укрепления доверия
МД включают в себя такие действия, как прозрачность, уведомление и мониторинг, предназначенные для снижения различных рисков, возникающих в результате военного соперничества между государствами. Как правило, они охватывают четыре области, как описывает Мари-Франс Дежарден:
· Обмен информацией и общение;
· Меры по обеспечению возможности проведения инспекций и наблюдателей;
· «Правила дорожного движения» для управления военными операциями;
· Ограничения на военную готовность и операции.
Меры укрепления доверия связаны с соглашениями о контроле над вооружениями, но отличаются от них. Контроль над вооружениями включает в себя соглашения об отказе от исследований, разработки, производства, развертывания или использования определенного оружия, особенностей оружия или применения оружия. Набор возможных действий, которые могут предпринять государства, широк, но основное внимание следует уделить потенциальным преимуществам и недостаткам конкретных мер по укреплению доверия, связанных с ИИ.
Продвижение норм
В 2019 году Совет по оборонным инновациям США предложил Министерству обороны США ряд принципов ИИ, которые Министерство обороны приняло в начале 2020 года. Хотя эти принципы, несомненно, имеют внутреннюю аудиторию в оборонном сообществе США и технологическом секторе, они также служат в качестве примера государственного обнародования норм о надлежащем использовании ИИ в военных целях. Принципы искусственного интеллекта Министерства обороны США включали требование, чтобы системы ИИ Министерства были ответственными, справедливыми, отслеживаемыми, надежными и управляемыми. Точно так же несекретное резюме стратегии ИИ Министерства обороны, опубликованное в 2019 году, призывало к созданию систем ИИ, которые были бы «устойчивыми, надежными и безопасными».
Государствам необходимо поощрять нормы ответственного использования ИИ, включая внедрение и использование технологий таким образом, чтобы это отражало понимание технических рисков, связанных с системами ИИ. Хотя изложение таких принципов — это не то же самое, что внедрение эффективных бюрократических процессов для обеспечения их соблюдения, тем не менее, их ценность в том, чтобы государства публично сигнализировали другим (и своим собственным бюрократическим структурам) о важности ответственного использования ИИ в военных приложениях.
Нормы поведения
Страны могли бы договориться о письменном своде правил или принципов внедрения ИИ в военные системы. Эти правила и принципы, даже если они не имеют обязательной юридической силы, тем не менее могут выполнять ценную сигнальную и координационную функцию, позволяющую избежать некоторых рисков при внедрении ИИ. Кодекс поведения, заявление о принципах или другое соглашение могут включать широкий спектр как общих, так и конкретных заявлений, в том числе о любых или всех перечисленных выше мерах укрепления доверия.
У широкого кодекса поведения есть несколько потенциальных недостатков.
Во-первых, более широкий кодекс поведения, которому не хватает специфики некоторых мер, обсуждавшихся выше, может подорвать импульс к более широкому сотрудничеству, а не послужить строительным блоком.
Во-вторых, при обсуждении кодекса поведения возникнет риск того, что разногласия по поводу некоторых деталей могут подорвать все усилия или привести к выбору форума, в результате чего страны затем начнут вести собственные диалоги о кодексе поведения. Возможно, именно это и произошло в киберпространстве, где несколько различных текущих процессов диалога о кодексах поведения не привели к существенному успеху.
Таким образом, можно предположить, что стимулы могут привести к менее формальному кодексу поведения, разработанному как структурный элемент, а не к чему-то, что могло бы заставить страны ограничивать возможности.
Ограничения ИИ
Риск несчастного случая является серьезной проблемой для военных приложений ИИ. Конкурентное давление может увеличить риск несчастных случаев, заставляя военных сокращать испытания и быстро развертывать новые системы с поддержкой ИИ. Государства могут использовать различные варианты для снижения рисков, связанных с созданием ненужных стимулов для ускоренного тестирования и оценки, включая публичное заявление о важности T&E, повышение прозрачности процессов T&E, продвижение международных стандартов T&E и обмен гражданскими исследованиями по безопасности ИИ.
Кроме того, ИИ сделает автономные системы более функциональными, а их более широкое использование может создать риски для стабильности, особенно при развертывании в оспариваемых районах. Чтобы снизить эти риски, государства могли бы принять МД, такие как «дорожная карта» для поведения автономных систем, признать маркировку систем для обозначения степени их автономии и соблюдение запретных географических зон для автономных систем.
Использование ИИ в военных целях сопряжено с многими рисками, в том числе с тем, как ИИ может изменить характер ведения войны. Политики должны осознавать эти риски, поскольку страны начинают интегрировать ИИ в свои вооруженные силы, и они должны стремиться по возможности снижать эти риски.
