Александр Генис: В Орландо, штат Флорида, в самом конце 2008-го года прошла 26-я Конвенция военных ученых, где - среди прочих чудес техники - инженеры представили коллегам робота-медбрата. Несмотря на имя-аббревиатуру, означающую в переводе «медведя», это - человекоподобная машина с руками, глазами и ушами. Робот, оснащенный двумя камерами и инфракрасным зрением, способен передвигаться со скоростью около 15 километров в час, поднимает более 120 килограммов и может вынести тело раненного солдата с поля боя.

Механический медик – прототип той армии роботов, которая вот-вот придет на смену обыкновенной. Эта перспектива, как все прорывы в области новых технологий, создает сложную нравственную проблему. О ней корреспондент Ирина Савинова беседует с сегодняшним гостем «Американского часа». Это - профессор истории и философии науки университета штата Индиана Колин Аллен ( Colin Allen ), соавтор книги под названием «Моральные машины. Учим роботов отличать добро от зла.» (“Moral Machines: Teaching Robots Right From Wrong”).

Ирина Савинова: Роботы – часть нашей жизни. Они водят поезда, пылесосят квартиру, собирают автомобили и даже указывают нам, куда на них ехать, делают сложные хирургические операции. То же происходит и на войне: над полями сражений парят беспилотные летающие аппараты, по земле передвигаются другие роботы. Осталось только создать солдата-робота.

Колин Аллен: Американская армия уже использует контролируемых людьми роботов. Они отыскивают мины, ведут разведку с воздуха и глубоко под землей, в пещерах. Некоторые из роботов оснащены оружием, но я пока не знаю случаев, чтобы из него стреляли.

Солдат-роботов пока нет, но вы, конечно, знаете о «Предаторах» - американских самолетах-разведчиках, управляемых с базы в штате Невада. Они вылетают на миссии в Пакистан и Афганистан. Одним самолетом управляют команды из 4 или 6 специалистов с авиабазы в Лас-Вегасе.

Ирина Савинова: Создание солдата-робота столкнется с одной серьезной проблемой – как научить робота этическому поведению?

Колин Аллен: Конечно, но я думаю, что возникнет много разных проблем. Так, вы создали робота, который может убивать людей или уничтожать других роботов. Как определить радиус поля его действий? Это в том случае, если вы оправдываете использование роботов в военном контексте. Я знаю, что многие против их участия в военных операциях. Но если вы – за, то, каким образом можно научить его понимать, кто враг? Ведь сражения не ведутся в одном месте, линия фронта перемещается, в поле действий попадают невинные гражданские лица. Пока мы не можем дать точные наставления роботу вроде «выполняй свою миссию отсюда и досюда».

Ирина Савинова: Если можно создать робота-солдата, то, наверное, можно создать и робота-террориста...

Колин Аллен: Да, так всегда получается с новыми технологиями: изобретениям, сделанным с добрыми намерениями, находят плохое применение. Это не только вопрос, правильно ли применять роботов в военных конфликтах, это – часть общей проблемы. В чем опасность – в самом изобретении или в его применении? Большинство понимают, что новая технология – нейтральная, она не может быть сама по себе плохой или хорошей. От нас зависит применять ее с добрыми или злыми намерениями. Но сама идея машины-убийцы многим кажется плохой с любой точки зрения, поэтому они считают, что, учитывая вероятность создания робота-террориста, нужно отказаться и от роботов-солдат.

Ирина Савинова: Можно ли сказать, что наука об искусственном интеллекте развивается в правильном направлении?

Колин Аллен: Технологии всегда развиваются, всегда в движении, но в правильном ли направлении они движутся? Это зависит от точки зрения. Я считаю, что нельзя просто изобрести робота-уничтожителя, послать его воевать и надеяться, что все образуется само собой, не заботясь о контроле над этическими последствиями его действий. Специалисты в области искусственного интеллекта при Пентагоне работают над несколькими проектами, вынуждающих роботов-солдат соблюдать основы международного права и законы, принятые Женевской конвенцией. Да, над этим работают, но что касается создания реальных механизмов, связывающих действия робота этическими нормами, то пока похвастаться тут нечем. Наука, тем не менее, движется вперед, и для военных целей успешно создаются все более проворные и чувствительные роботы, способные выполнять работу автономно, без прямого контроля человека.

Ирина Савинова: Некоторые ученые полагают, что на поле брани робот-солдат может вести себя даже более этично, чем человек, Вы разделяете такую точку зрения?

Колин Аллен: Люди на войне зависят от эмоций. Под стрессом они совершают поступки, о которых позже сожалеют. Есть ученые, которые надеются строить роботов либо вообще без эмоций, либо с определенным набором позитивных эмоций. Я считаю, что эмоции играют важную роль в этическом выборе человека. Сопереживание, умение прореагировать на ситуацию, даже гнев может быть положительной эмоцией, если он направлен на защиту идей справедливости и законности. Для эмоций, которые можно заложить в робота, стереотипом явятся наши чувства. Но у людей так трудно решить, что считается адекватной, а что неадекватной эмоциональной реакцией.

Ирина Савинова: Что вы думаете о трех законах роботехники, предложенных писателем-фантастом Айзеком Азимовым?

Колин Аллен: Те, кто познакомились с моей книгой «Моральные машины», указывают на то, что Азимов решил проблему моральности машин своими тремя законами. Напомню его три правила поведения для роботов: робот никогда не должен причинять вред человеку; робот должен повиноваться приказам человека, если эти приказы не противоречат первому закону; робот должен заботиться о своей безопасности, не нарушая при этом первый и второй законы. Те, кто считают, что это идеальные законы для роботов, возможно, не осознают, что они были сочинены Азимовым для него самого. Законы роботехники помогали ему организовывать сюжет, делая в нем неожиданные повороты. Это прекрасная писательская выдумка, но как инженерная идея она никуда не годится. Возьмем первый закон. Как моральный компас он явно неточен. В нем заключено противоречие, ибо есть много ситуаций, в которых робот или человек, что бы они ни делали, даже не делая ничего, причинят кому-то какой-то вред. Измерить или предвидеть степень вреда – очень трудное задание даже для нас, не говоря уже о роботах.

Ирина Савинова: Если роботы могут функционировать автономно, следует ли нам опасаться бунта машин?

Колин Аллен: О, я думаю, что у нас всегда должна быть здоровая степень опасения. Это случай, когда от такой эмоции, как страх, есть польза. Я не думаю, что машины поработят нас, как это предсказывают писатели-фантасты, но нужно знать, что есть вероятность того, что наша жизнь и наше окружение могут непредсказуемо измениться.

Конечно, если мы будем всё знать наперед, жить станет очень скучно. Но этот разумный страх перед неожиданными последствиями должен заставлять нас серьезно относиться к задаче конструирования машин. В них ничего не должно измениться непредвиденным образом.

Во всяком случае, в будущем, недалеком или, возможно, даже в далеком, не следует ждать бунта машин. Другое дело, что уже сегодня у нас есть множество работающих без участия человека автоматов, влияющих определенным образом на нашу жизнь, и не все эти влияния положительные. Мы должны точно определить, что должны знать эти машины, насколько тонко они должны воспринимать окружающее, чтобы мы могли с уверенностью сказать: их поведение будет этически безупречно.