США и Россия убрали человека из правил для ИИ-оружия. Кто теперь отвечает за удар
Из международного проекта правил для автономного оружия убрали обязательную проверку цели человеком. Почему операторы и так слишком доверяют машине и кто ответит за ошибку.
США и Россия добились, чтобы из международного проекта правил для автономного оружия исключили обязательное подтверждение цели человеком перед ударом. Сегодня об этом сообщает The Insider со ссылкой на The Washington Post. Проще говоря, требование «человек смотрит и решает» из черновика убрали.
Пока это проект, а не действующий договор. Но направление понятно: последнее слово перед выстрелом формально больше не обязано оставаться за человеком.
Человек в цепочке защищает слабо
Честно говоря, даже обязательное подтверждение гарантировало бы немного. Психологи давно описывают склонность слишком доверять автоматике, по-английски automation bias. Пилоты, диспетчеры, врачи с системами подсказок: если машина уверенно предлагает ответ, человек чаще соглашается с ним, чем перепроверяет.
Добавьте сюда давление времени. На экране у оператора метка цели и кнопка «подтвердить». Нажать «да» проще, чем спорить с системой, которая обработала больше данных, чем он успеет рассмотреть.
И ещё одно. Согласиться с алгоритмом психологически легче, чем самому нажать на спуск. Решение как будто уже принято. Остаётся только поставить подпись.
Ответственность, которая растворяется
В социальной психологии это называют диффузией ответственности: чем больше участников, тем меньше каждый чувствует себя виноватым. У ИИ-оружия цепочка длинная: разработчик, заказчик, командир, оператор и сам алгоритм. Когда виноваты все, не виноват никто.
А если из цепочки убрать даже формальное подтверждение, вопрос «кто ответит за ошибку» становится почти риторическим. Алгоритм под суд не отдашь.
В тот же день 66.RU пишет, что ИИ обманывает своих создателей. Совпадение случайное, но показательное: мы доверяем системам, которые не до конца понимаем, и при этом убираем человека, который мог бы заметить неладное.
Что может быть дальше
Дальше мой прогноз, а не факт. Скорее всего, спор уйдёт в формулировки: вместо обязательного подтверждения появится размытый «надлежащий человеческий контроль», и каждая страна будет толковать его по-своему. Где пройдёт граница, я пока могу только гадать.
Кажется, что это далеко от обычной жизни. Но механизм тот же, что с банковским скорингом или навигатором: чем удобнее автоматика, тем реже мы её проверяем.
Как вы думаете: если оператор просто нажал «подтвердить» вслед за машиной, отвечает ли он за удар?
