Сергей Медведев: Говоря о будущем, мы уже не первый раз вспоминаем Илона Маска. Илон Маск — это голова, как говорили жители города Черноморска. И в этот раз Илон Маск бьет тревогу по поводу искусственного интеллекта, который, как он написал в своем Твиттере, может привести к третьей мировой войне.

Так ли это? Могут ли искусственный интеллект, автономное оружие и все новые технологии вооружения поставить человечество на грань катастрофы и самоуничтожения? У нас в гостях Александр Неклесса, руководитель группы «Интелрос», заведующий лабораторией «Север-Юг» ИАф РАН.

ХХ век прошел под знаком ядерного, биологического и химического оружия. Недавно мы видели по телевизору, как был уничтожен последний химический боеприпас России. Но это уже, как представляется, даже за исключением таких эксцессов, как Иран и в особенности Северная Корея, все-таки уже более-менее контролируемые технологии. А возможен ли международный контроль над новыми технологиями вооружений: искусственный интеллект, автономное оружие?

Александр Неклесса: Мы привыкли мыслить последовательно. У нас выстраивается ряд от топора с некоторым острым каменным предметом в виде лезвия, через дубинки, луки, стрелы, танки, химическое, биологическое, ядерное оружие - и куда-то туда, вперед. Последовательное мышление очень эффективно, оно позволяет решать каждую конкретную задачу. Но мы переходим к комплексному состоянию, к такому сложному миру, где каменного топора особенно не просматривается, но от «Калашникова» до опасности ядерного, а если нет, то биологического и химического оружия все находится в той или иной степени в работе.

Что добавляется? Сам комплексный антураж. Мир становится настолько сложным, что человеческие институты с трудом с ним справляются. Более того, пожалуй, одной из «фишек» футурологии является кризис, коллапс институтов, ценностей и инструментов прежнего мира. То есть в современном мире мы пересматриваем знакомые понятия, в том числе это «война». Не случайно появилась «гибридная война». Если всмотреться в фокус, то это сложная война, которая использует весь доступный инструментарий и, собственно, в какой-то момент становится даже не вполне понятно, это война или не война. Ведь это война, которая в какой-то момент происходит без активных боевых действий, по крайней мере, резко сужается ареал использования летального оружия, и при этом растет акцент пропаганды в средствах массовой информации.

Сергей Медведев: Информационная война, кибер-война, кибер-атаки.

Александр Неклесса: Кибер-атаки — это уже интересно. Ведь не случайно помимо авиации, сухопутных войск, военно-морских сил, в составе вооруженных сил Соединенных Штатов (и не только) создано киберкомандование. И здесь как раз соединяются эти два понятия — «вооружение» и «искусственный интеллект».

Искусственный интеллект — это, пожалуй, одна из центральных вещей в современном фронтире. Но понимается она совершенно различным образом, в том числе и в сфере вооружений. Все это делится на три части. Это автоматическое оружие, в которое включен человек. Скажем, беспилотник - он летает, но управляется с земли оператором, который отделен от него. Здесь оператор соприсутствует, но в каких-то критических ситуациях он может переключать это оружие на автопилот.

Сергей Медведев: Тот же беспилотник, выходящий из-под контроля оператора, в котором запускается какой-то алгоритм...

Александр Неклесса: Он не выходит из-под контроля, оператор позволяет ему действовать автономно. Причем, когда мы употребляем слово «пилот», оно немножко вводит в заблуждение, потому что нам кажется, что это относится к летальным аппаратам. На самом деле это относится и к наземному транспорту. Кстати, здесь очень интересное пересечение с проблемой беспилотных автомобилей.

Сергей Медведев: В том смысле, что разрабатывается тот же софт - и для беспилотных автомобилей, и для автоматических танков?

Александр Неклесса: И А, и Б способны к автономному действию. Скажем, с автомобилями проблема заключается не в том, насколько они могут работать в беспилотном режиме: в таком режиме они могут работать уже 20 лет, с середины 90-х годов, проблемы нет. Наоборот, сейчас это достаточно простая задача даже для человека, который просто хорошо владеет методами программирования и может запрограммировать свой автомобиль. Проблема в правовом обеспечении. То же самое и с военным вооружением: оно может работать в автономном режиме.

Третья ступенька — это оружие, которое принципиально работает автономно. Оно отключается от контроля и работает бесконтрольно по какой-то программе. Это связано с очень коротким временем на принятие решения. Если вам нужно защитить какой-то сверхважный объект, то самый простой пример — современное зенитное оружие, тактические ракеты, они просто будут реагировать на всякий приближающийся объект.

Сергей Медведев: И уничтожать все, что находится в периметре их действия.

Александр Неклесса: В связи с беспилотным гражданским автомобилем я говорил про правовую проблему. Она достаточно сложная. Автомобиль может выбирать, кого убить.

Сергей Медведев: В случае, когда приходится делать выбор в ДТП - выскочить на остановку, где стоят два человека, или врезаться в автобус с детьми. «Толстяк и вагонетка».

Александр Неклесса: Есть и третье решение этой проблемы — убить водителя. Правовые проблемы, которые достаточно очевидны в гражданской сфере, по сути, точно такие же и даже больше в военной сфере. И вы упомянули правовое регулирование…

Сергей Медведев: Международно-правовое. Действительно, мы чувствуем, что находимся на фронтире всего этого. Но человечество довольно быстро начало договариваться, поняв, что такое химическое оружие. А как тут договариваться, о чем и с кем?

Александр Неклесса: Вот последнее - «с кем» - здесь играет роль. Дело в том, что мы привыкли жить в мире существующих больших политических объединений, на сегодняшний момент (примерно последние полтысячелетия) - национальных государств. Это субъекты, которые заключают конвенции, в том числе это конвенции, которые заключаются с международными организациями типа «Красного креста». «Красный крест» очень обеспокоен проблемой автономного оружия.

Но вот в чем вопрос: исчерпываются ли влиятельные, деятельные субъекты в современном мире этими признанными национальными государствами? Выясняется, что нет — это россыпь. Да, существуют международные регулирующие органы в комплексе с национальными типа ЕС. Это тоже девиация, распространение логики на новый статус и, тем не менее, сохраняются морфологические генетические черты привычной нам государственности.

Но дальше - субсидиарность. Скажем, шотландская или даже каталонская субсидиарность как-то понимается в том, что мы имеем в виду под современным статусом цивилизации. Курдская понимается меньше, а какая-нибудь другая автономия, скажем, в районе Бирмы, в районе всяких золотых земель, понимается еще хуже. А вот запрещенное в России ИГИЛ — это не «Аль-Каида», это государственность с легальными институтами, с логистикой, с работающими министерствами. Что это такое, как его включить в этот контекст? Соединенные Штаты, Китай, Россия, Япония и прочие акторы могут договориться между собой, а с ними не договорятся, они просто не будут включены в контекст разговора. И они как раз могут развивать любые формы.

Сергей Медведев: А насколько у них есть технологические возможности? Или вопрос в том, что эти возможности не прикреплены к нациям, они международные?

Александр Неклесса: У них нет технологических возможностей.

Сергей Медведев: Но они могут аутсорсить их какой-то группе разработчиков.

Александр Неклесса: Здесь очень интересный процесс. Я бы на секунду переключился на другую область — это генетические исследования, где как раз острие прогресса находится в этих серых и черных зонах именно в силу того, что заключены легальные договоренности. Существуют легальные договоры о запрете определенного типа…

Сергей Медведев: Клонирования человека.

Александр Неклесса: Это специфические виды клонирования, работа с человеческим геномом и его различные модификации. Так вот, с вооружением, в принципе, существует такой же вопросительный знак: можем ли мы заключить конвенцию и ограничить себя? Работает удивительный принцип: как в естественных науках существует бритва Оккама, мы должны работать по нижней планке. Поэтому договор заключается, и сразу ищутся обходные пути.

Не случайно у нас все-таки выскочил этот беспилотник автомобиля. И есть другие виды беспилотных устройств, где в принципе могут решаться альтернативные задачи. Как было с ПРО: ПРО была запрещена, а всякого рода необходимые технологические решения разрабатывались в других областях. Здесь происходит то же самое. Причем тут тоже существует своя градация, как с оружием — автоматическое оружие, автономное оружие, но с оператором, автономное, но без оператора (кстати, запрещенное на сегодняшний день). Исследования не проводят - это и самосдерживание, и более-менее есть международные договоренности. По крайней мере, Соединенные Штаты декларируют, что они не используют такое оружие.

Сергей Медведев: То есть нельзя убрать человека как окончательную инстанцию. Действительно, уже тысячелетиями оружие отчуждается от человека. Если изначально человек, чтобы убить своего противника, душил его руками, грыз зубами, поступал, как животное, то затем появилась палка, и он начал убивать палкой, затем заострил палку, а затем появилось огнестрельное оружие. Дистанция постоянно увеличивается. Сейчас человек просто нажимает кнопку и видит, как в нескольких километрах или в десятках километров на экране монитора появляется облачко дыма.

Александр Неклесса: Единственная перчинка в этот коктейль — это делалось не из-за гуманных соображений, а из-за инстинкта самосохранения, потому что убивать на расстоянии более безопасно.

Сергей Медведев: И психологически это гораздо проще. Это, видимо, можно продолжить линейно: будет продолжаться процесс отчуждения человека от убийства себе подобных.

Александр Неклесса: Нет, от процесса убийства, а не от убийства.

Сергей Медведев: Может быть, человек уже вообще запустил какой-то алгоритм и пошел спать к жене и детям.

Александр Неклесса: Вернемся к проблеме автомобиля, к этой юридической проблеме. Ну да, автомобиль кого-то убил в процессе ДТП. Кто виноват — тот, кто придумал программное обеспечение, тот, кто продал этот автомобиль, тот, кто использовал его? Это напрямую выводит нас на тему искусственного интеллекта. Здесь происходит интереснейший сдвиг в тот самый кибер-спейс, потому что война может передвинуться из использования оружия к перехвату использования оружия. Ведь если оружие существует автономно, с некоторыми элементами Safeguard, то, соответственно, оно может быть перехвачено противником, использовано против противника.

И не только это. Здесь вообще возникает проблема, что такое война. Война, если очень кратко выразить, как я ее понимаю, это проекция принуждения посредством разрушения. Но это слишком короткая формула, потому что это не просто принуждение — это и подчинение, и сопротивление. Точно так же это не только разрушение. Еще Клаузевиц в свое время различал две формы войны — это война, которая ведется с целью уничтожения противника, и война, которая ведется как силовая часть переговорного процесса: я захватываю какие-то территории, а потом использую их.

Имеются некоторые политические субстанции, политические организованности, и одна организованность может попытаться что-то изменить в другой организованности, полностью переформатировать другую организованность, уничтожить ее. Выбор, стратегия в данном случае определяется целью, тем, нужно ли это вообще. Ошибка Кутузова или, точнее, Александра в свое время была в том, что граница Российской империи была пересечена российской армией, что привело к уничтожению естественного союзника России - Франции - и усилению естественного противника России - Англии. То есть не всегда война преследует цели уничтожения противника. Но вот этот кибер-аспект становится все более и более влиятельным.

Сергей Медведев: В марте этого года умер Станислав Петров, человек, который спас мир: 26 сентября 1983 года, хотя все алгоритмы говорили, что началась ракетная атака США против Советского Союза, он сказал: нет, этого не может быть, - и дал информацию Устинову о том, что не надо запускать ракеты.

Я к тому, что все равно человек принимает решение, даже в условиях самых сложных алгоритмов. Можно ли в этих войнах будущего вообще исключить человека, человеческий фактор? Или все-таки человек должен оставаться последней инстанцией со своими моральными весами?

Александр Неклесса: Прозвучало очень важное слово — «моральными». Прежде всего, Петров нарушил протокол.

Сергей Медведев: По-моему, тогда Петров был даже наказан.

Александр Неклесса: Он был не награжден и даже в определенной мягкой форме наказан. Но главное здесь — нарушил протокол, коль скоро мы говорим об искусственном интеллекте. Мы несколько антропоморфизируем искусственный интеллект, в общественном сознании это антропоморфный робот (можем обратиться к тому, как представляют искусственный интеллект в фильмах, на выставках). Но искусственный интеллект — это все-таки не говорящая кукла. Это другой интеллект. Попытки свести это к тесту Тьюринга, представлять искусственный интеллект как альтернативу человеческому интеллекту, альтернатива по принципу апгрейда или наоборот, несколько отстающего — это своего рода внешнее в этой колоссальной теме.

Дело в том, что искусственный интеллект — это интеллект не человеческий. В основном подсчет понятия «интеллект» идет по типу интеллектуальных операций. Употребляется слово — «искусственный генеральный интеллект». Ведь человеческий интеллект не исчерпывается тем, что мы называем интеллектуальными функциями. Сейчас, когда происходит тестирование индивида, оценивается не только его IQ, то есть способность к интеллектуальным операциям в привычном смысле, но и его характер, эмоциональный уровень и так далее, потому что человек представляет из себя комплексную структуру.

Есть проект, где намечено примерно к 2027 году создать аналог человеческого интеллекта, а чуть ли не к 2018-му воспроизвести интеллект крысы. На мой взгляд, здесь есть одна специфическая недооценка. Обычно рассуждение идет следующим образом: у человека есть определенное количество нейронов, эти нейроны имеют определенное количество синапсов: 86 миллиардов нейронов, на каждый нейрон приходится тысяча-две синапсов, а у синапсов есть свои модуляторы, и где-то мы приходим на квинтиллионные числа. Это вполне обозримое пространство, можно примерно представить машину, которая будет оперировать подобным количеством элементов.

Но дело в том, что человеческий интеллект оперирует посредством… В свое время считали, что источник души, ума, интеллекта — это не мозг, а сердце. В этом есть определенный и метафорический, и прямой смысл, поскольку есть нейрогуморальное регулирование. Дело в том, что эта человеческая система - мозг - не просто оперирует в этой колоссальной сложности, ведь это не просто некоторый квадриллион элементов, а они работают в режиме постоянно сменяющихся связей.

В Евангелии есть выражение: «о чем вы думаете, там и сердце ваше». У человека в мозге происходит примерно такая же история: о чем он думает, то у него и выстраивается, а то, чем он пренебрегает, постепенно теряется, а если он пытается к этому вернуться, то выясняется, что он утратил эту способность. Человеческий мозг — это не просто чрезвычайно сложная, это динамически сложная структура.

Сергей Медведев: Постоянно адаптирующаяся и переформатирующаяся.

Александр Неклесса: И это дополнительная сложность.

Сергей Медведев: Если такой интеллект все-таки будет создан, нужно в самом начале пресекать возможность делегировать наши военные функции?

Александр Неклесса: Вы знаете, конвенцией это не решится, а решится практикой. Она сметет все конвенции.

Сергей Медведев: Кто первый это создаст, тот и будет владеть миром, как сказал Путин на встрече со школьниками 1 сентября.

Александр Неклесса: В своей практике я занимаюсь футурологией. Это слово несколько дискредитировано, поэтому оно заменяется словом «прогнозирование». Мы действительно переходим к новому статусу мира, мир становится многофакторным, совершенно динамичным. Поэтому человек со своим инструментарием или без инструментария, безусловно, не справляется, поэтому он создает все более и более сложные инструменты, которые позволяют справляться.

Если уж говорить о военных действиях, то одно из пониманий, что такое война — это, по сути дела, фрустрация. Китайцы хорошо понимали, что когда начинается война в нашем привычном понимании, это значит, что произошла ошибка, не справились с ситуацией. Война на самом деле ведется мирными средствами.

Возвращаясь к Клаузевицу, второй подтекст в том, о чем он говорил: в сущности, цель войны — это новый порядок. Приходит такая сложность, что человек не развивающийся… Я обращусь к архетипам, которые существуют у нас в литературе, в легендах, два из них лежат на поверхности — Голем и Франкенштейн. Голем, кстати, здесь великолепная линейка, потому что он создается как инструмент защиты. Этот инструмент защиты, когда у него вынимается некоторое божественное разрешение, превращается в монстра. Вот, собственно, проблема: мы стоим на пороге очень серьезной трещины, цивилизационной схизмы, мы вступаем в совершенно новый мир, о котором очень мало знаем. Поэтому я сторонник гуманитарного образования в серьезном смысле и очень серьезного прогнозирования, а не бла-бла-бла и публицистических речей.

Сергей Медведев: Итак, человечество худо-бедно научилось справляться с вызовами химического, биологического и ядерного оружия, но проявит ли оно ту же самую мудрость в XXI веке, чтобы справиться с вызовами искусственного интеллекта? Ведь он может создавать уже более сложные структуры, чем те, которыми являемся мы сами, чем наши общественные организации и наши политики. И это огромный вызов, с которым надо справляться.