К вопросу о соответствии автономных интеллектуальных систем вооружений принципам международного гуманитарного права
Морхат Петр
Настоящая статья посвящена применению искусственного интеллекта с точки зрения международного гуманитарного права. В статье рассмотрены особенности применения и возможные меры по регламентации использования автономных интеллектуальных систем вооружений в рамках международного гуманитарного права. Сделан вывод, что их применение нормами международного гуманитарного права непосредственно не урегулировано, и высказаны идеи относительно юридического решения описанной проблемы. искусственный интеллект вооружение право
В настоящее время с учётом интенсивности развития новых инновационных технологий весьма актуальным является вопрос о том, соответствует ли (и насколько) использование искусственного интеллекта принципам международного гуманитарного права.
Речь в данном случае идёт главным образом о применении автономных систем вооружений, оснащённых искусственным интеллектом.
Если говорить о правовом регулировании развития и применения технологий искусственного интеллекта на международном уровне в рамках традиционных отраслей международного права, то, как отмечает Джон Уивер, анализ практически каждой отрасли международного права и каждого института, на которые может оказать воздействие использование искусственного интеллекта, таких как государственный суверенитет, международное морское право и т. д., показывает, что ни одна из этих отраслей не решает вопросы, непосредственно связанные с искусственным интеллектом [10].
Уже сегодня имеющее место применение подобных автономных систем вооружений в рамках вооружённых конфликтов и контртеррористических операций поднимает серьёзные этические вопросы. В частности, вопрос о том, позволяют ли принципы гуманности принимать машинам решения (доверять машинам принимать такие решения) по поводу жизни и смерти в рамках вооружённых конфликтов без участия человека в процессе принятия таких решений [9].
В настоящее время вопросы применения искусственного интеллекта и автономных систем вооружений нормами международного гуманитарного права непосредственно не урегулированы.
Хотя исследователи в рассматриваемой сфере часто оперируют такими понятиями, как «искусственный интеллект», «робототехника» и «автономные системы вооружения», данные термины по своему содержанию не являются тождественными даже применительно к военной сфере, хотя и схожи во многом.
Далее обратимся к выяснению и разъяснению соотношения указанных понятий.
Автономные системы вооружений используются уже сейчас. Международный комитет Красного Креста определяет такую систему как «систему вооружений с автономией в её важнейших функциях. То есть система вооружения способна отбирать (т. е., искать или обнаруживать, идентифицировать, отслеживать, выбирать) и селективно атаковать (т. е., использовать силу, нейтрализовать, разрушать или уничтожать) цели без непосредственного человеческого вмешательства» [9].
Ключевой характеристикой таких систем, которая может объединять, по сути, совершенно разные виды оружия, является именно их автономность, т. е., независимость в определённых аспектах от действий человека.
Р. Гейсс отмечает, что в настоящее время нет универсального определения автономных систем вооружений, однако все существующие определения сходятся в том, что в качестве решающего критерия автономности системы вооружения выступает уровень способности принимать решения посредством только алгоритмов без вмешательства человека. Поэтому автономия не должна пониматься здесь в морально-философском её смысле свободной воли индивида [4].
Автономность является и важнейшей функцией систем искусственного интеллекта, которые при этом наделены и иными способностями, например, способностью к самообучению.
При этом, как отмечается в различных исследованиях, оружие с действительно полноценным искусственным интеллектом пока не создано, хотя и его создание весьма вероятно в обозримой перспективе.
Так, эксперты предсказывают вероятность разработки в течение 20 - 30 лет автономных вооружений, способных выбирать цели и взаимодействовать с ними без участия человека. И хотя сейчас об этом говорится в ключе того, что человек всегда будет обеспечивать контроль над принятием решений о применении смертоносной силы, всё равно существует вероятность того, что робот сможет (будет иметь возможность) сделать такой выбор самостоятельно. Оружие такого рода не будет соответствовать нормам международного гуманитарного права и, очевидно, увеличит риски причинения смерти или вреда здоровью мирному населению в период вооружённого конфликта [7].
В п. 623 Сводной доктрины Великобритании 2011 г. «Подход Соединённого Королевства к беспилотным летательным аппаратам» отмечается, что истинный искусственный интеллект, благодаря которому машина будет обладать способностью мыслить, аналогичной или большей, чем человеческая, будет, несомненно, полным изменением игры не только в военной отрасли, но и во всех аспектах современной мысли, а изменение парадигмы технологий искусственного интеллекта было бы разрушительным при их военном применении [5].
На наш взгляд, вызовы международному гуманитарному праву, создаваемые или обуславливаемые использованием автономных систем вооружений, во многом могут быть схожи с проблемами, создаваемыми использованием таких систем, оснащённых искусственным интеллектом, с тем лишь различием, что последствия применения последних могут быть более серьёзными в силу их способности самообучаться, в том числе и в рамках взаимодействия при определённых условиях с другими системами искусственного интеллекта, которая ещё более снижает степень их подконтрольности человеку.
Далее в настоящей статье под автономными системами вооружения будут пониматься в том числе и системы, оснащённые искусственным интеллектом. Также далее будет использоваться в аналогичном значении понятие автономных интеллектуальных систем вооружений. Под роботами будем понимать все автономные системы вооружений.
В настоящее время вопросы применения искусственного интеллекта, а также вопросы, связанные с принятием решений машинами, почти не затрагиваются международным правом [10].
Лишь сравнительно недавно началось принятие соответствующих мер, направленных в основном на определение границ и рамок правового регулирования использования систем искусственного интеллекта. Нет оснований пока говорить и о полноценном отраслевом международно-правовом регулировании, в том числе с точки зрения международного гуманитарного права.
Международное гуманитарное право нацелено на защиту человеческого достоинства и защиту жертв вооружённого конфликта посредством введения различных ограничений на применение силы, в частности запрещения использовать определённые средства и методы ведения войны.
Подобно некоторым другим новым технологиям, автономные системы вооружений бросают вызов традиционным представлениям относительно применения силы, на которых основаны соответствующие международно-правовые стандарты [2].
Использование такого рода технологий - это принципиально новая проблема с точки зрения международного гуманитарного права, поэтому не совсем ясно на настоящий момент, к какому именно из направлений данной отрасли права её относить, и соответственно не ясно, какими методами и инструментами корректнее её решать.
Отметим, что если повреждения, наносимые такими системами, не направлены непосредственно на причинение излишних повреждений или излишних страданий, то они не подпадают под действие соответствующего запрета, предусмотренного ст. 35 Дополнительного протокола к Женевским конвенциям от 12 августа 1949 г., касающегося защиты жертв международных вооружённых конфликтов (Протокол I) от 8 июня 1977 г.
Не подпадает, на наш взгляд, использование такого оружия и под действие положений ст. 37 указанного Протокола, запрещающих вероломство.
Ключевым свойством автономных систем вооружений, которое обусловливает вообще отдельное их рассмотрение с точки зрения международного гуманитарного права, является их существующая и потенциальная неподконтрольность человеку, которая может приводить к разрушительным последствиям, и с этой точки зрения можно рассматривать такое неподконтрольное человеку оружие как способное нанести вред гражданскому населению, а также чрезмерный вред комбатантам.
Часть 4 ст. 51 Протокола I запрещает нападения неизбирательного характера для целей обеспечения защиты гражданского населения.
Согласно п. «в» ст. 23 Положения о законах и обычаях сухопутной войны (приложение к Конвенции о законах и обычаях сухопутной войны от 18 октября 1907 г.) запрещается убивать или ранить неприятеля, который, положив оружие или не имея более средств защищаться, безусловно сдался.
В качестве одного из ключевых положений международного гуманитарного права здесь также отметим пункт преамбулы к Конвенции о законах и обычаях сухопутной войны от 18 октября 1907 г., согласно которому впредь до того времени, когда представится возможность издать более полный свод законов войны, Высокие Договаривающиеся Стороны считают уместным засвидетельствовать, что в случаях, не предусмотренных принятыми ими постановлениями, население и воюющие остаются под охраною и действием начал международного права, поскольку они вытекают из установившихся между образованными народами обычаев, из законов человечности и требований общественного сознания.
Автономная система вооружения, оснащённая искусственным интеллектом, не в состоянии учитывать законы человечности.
Необходимо также учитывать следующее. Для того чтобы автономная система вооружения считалась используемой для ведения военных действий, человеческие агенты воюющей стороны должны осуществлять непосредственный контроль над этой системой, чтобы использовать её в качестве средства ведения войны [2], т. е. не на всякое совершение действий автономной системой вооружения даже в рамках вооружённого конфликта будет распространяться действие положений и требований международного гуманитарного права.
Основу для правового анализа особенностей и способов применения новейших вооружений составляет ст. 36 Протокола I, которая посвящена новым видам оружия.
Статья 41 Протокола I предусматривает запрет подвергать нападению лицо, которое признано или которое в данных обстоятельствах следует признать лицом, вышедшим из строя.
При этом, согласно данной статье, вышедшим из строя считается любое лицо, если оно:
- находится во власти противной стороны;
- ясно выражает намерение сдаться в плен; или
- находится без сознания или каким-либо другим образом выведено из строя вследствие ранения или болезни и поэтому не способно защищаться, при условии, что в любом таком случае это лицо воздерживается от каких-либо враждебных действий и не пытается совершить побег.
При этом сомнительно, чтобы автономная интеллектуальная система вооружения была самостоятельно способна надёжно распознать различия между воюющим комбатантом и комбатантом, вышедшим из строя, поскольку для этого система вооружения должна уметь отмечать жесты, выражения лиц и эмоции и правильно их оценивать [4].
Относительно ответственности за причинение ущерба автономными интеллектуальными системами вооружений международное гуманитарное право, в частности его положения, касающиеся ответственности государств (в том числе ст. 91 Протокола I), не содержит никаких прямых указаний относительно того, как следует трактовать использование автономных интеллектуальных систем вооружений, но в то же время и не устанавливает напрямую, что государство не несёт ответственности за действия таких систем [10].
Автономное оружие должно быть ограничено в дальности и боевой мощи, а также должно быть способно различать законные и незаконные цели. В любом случае автономное оружие никогда не должно использоваться в отношении гражданского населения, применять его может быть возможно исключительно в ситуациях, когда высока вероятность того, что все цели законны. Более того, такое оружие должно быть оснащено механизмами нейтрализации, позволяющими выключить его в любой момент, даже если такая функция ограничит его боевую эффективность [6].
Гражданское население никогда не может быть легитимной целью нападения в рамках международного конфликта, и соответственно возникает серьёзный вопрос относительно способности автономной интеллектуальной системы разграничивать комбатантов и гражданское население, поскольку такое разграничение требует применения очень сложных процессов оценки. И это связано с тем, что это вопрос не просто идентификации вражеского оружия или униформы, но и интерпретации поведения человека [4].
Важно отдавать себе отчёт в том, что автономная система вооружения также не обладает эмоциями сострадания или милосердия. Кроме того, машина не может руководствоваться принципами соразмерности и военной необходимости, надлежащее применение которых существенно зависит от контекста определённой ситуации, а также является субъективным [3].