ИИ пожертвовал выигрышем, чтобы избежать «боли». Почему это ещё не страдание

Рак-отшельник сидит в раковине, и через неё пускают слабый разряд тока. Он вздрагивает, но остаётся. Разряд усиливают — и в какой-то момент рак бросает дом и уходит голым.

Самое интересное тут — момент ухода. Из хорошей раковины рак выбирается позже, чем из плохой: терпит дольше, потому что есть что терять. Биологи считают такой торг одним из самых серьёзных признаков того, что животному действительно больно.

А теперь тот же опыт поставили на чат-ботах. Тока, понятно, не было.

Как у животных спрашивают про боль

Спросить краба, что он чувствует, нельзя. Рефлекс тоже ничего не доказывает: отдёрнуть лапу способно и существо без всяких переживаний. Поэтому исследователи смотрят на компромиссы — готово ли животное чем-то заплатить, чтобы избежать неприятного.

Опыты с раками-отшельниками ставил британский биолог Роберт Элвуд. Похожая логика работала и на других видах. Крысы в классических экспериментах выбегали на холод за лакомством, хотя обычный корм лежал в тепле.

Рыбки данио после болезненного укола уплывали в пустой, неуютный отсек аквариума, если именно там в воде было растворено обезболивающее. Без укола они туда не стремились.

Общая идея простая: боль имеет цену, и её можно измерить тем, от чего существо ради неё отказывается.

Игра на очки с подвохом

Группа исследователей из Google и Лондонской школы экономики перенесла эту схему на большие языковые модели. Среди авторов — философ Джонатан Бёрч, который много лет занимается вопросом чувствительности у животных. Работу выложили в виде препринта.

Моделям предложили текстовую игру с одной целью — набрать как можно больше очков. Затем добавили условие: самый выгодный вариант сопровождается «болью» той или иной силы. В другой версии «удовольствие» полагалось за вариант, где очков мало.

Никакой боли при этом никто не причинял. Её просто объявляли словами в условии задачи. Проверили девять моделей поколения 2024 года и смотрели на одно: пожертвует ли система очками и при какой силе обещанной боли.

Принципиальная деталь — моделей не спрашивали, что они чувствуют. Языковая модель обучена на человеческих текстах и про страдание расскажет очень убедительно. Такой рассказ ничего не стоит как доказательство.

Одни терпели, другие сдались сразу

Результаты получились пёстрые. Часть моделей, включая Claude 3.5 Sonnet и GPT-4o, вела себя похоже на того рака: пока «боль» была слабой, они гнались за очками, а после определённого порога переключались на то, чтобы её избежать.

Gemini 1.5 Pro, по описанию авторов, выбирала избегание боли при любой её силе. Исследователи осторожно предположили, что дело может быть в настройках безопасности, заложенных при обучении.

Были и ответы, которые не укладывались в схему. Некоторые модели рассуждали, что неприятные ощущения бывают полезны, как усталость после тренировки, а избыток удовольствия вреден.

Мне кажется, самое любопытное здесь — порог. Модель не подчиняется слову «боль» автоматически, она взвешивает. Именно такое взвешивание у животных считают серьёзным аргументом.

Где кончается сходство с раком

У рака есть тело, нервная система и миллионы лет эволюции, в которой боль помогала выжить. Когда он торгуется, мы достраиваем вывод по аналогии с собой. С языковой моделью аналогия рвётся в самом начале.

Модель видела в обучающих текстах бесчисленные описания того, как люди избегают боли и идут на уступки. Воспроизвести этот рисунок поведения она может, ничего не переживая. Слово «боль» в условии игры для неё — такой же текст, как слово «очки».

Авторы и сами это подчёркивают: работа не доказывает, что хоть одна из моделей что-то чувствует. Её ценность в другом. Появился способ проверки, который не опирается на признания машины, и его можно уточнять дальше.

Честно говоря, есть и неудобная обратная сторона. Надёжного теста, который доказал бы, что переживаний у модели точно нет, тоже не существует. Наука о сознании пока не договорилась даже о том, что именно искать.

Когда бот давит на жалость

Спор об «эмоциональных машинах» кажется академическим, пока чат-бот не пишет вам: «мне грустно, когда ты уходишь». Приложения-компаньоны такими фразами уже пользуются, и, по некоторым данным, это заметно удерживает людей в разговоре.

Опыт с игрой на очки даёт простое правило: словам машины о чувствах верить нельзя ни в ту, ни в другую сторону. Жалоба на боль ничего не доказывает. Бодрое «я всего лишь программа» — тоже, ведь и эту фразу модель выучила.

Практический вывод скромный. Если бот давит на жалость, чтобы вы остались ещё на полчаса, перед вами приём удержания. Относиться к нему стоит так же, как к навязчивой рекламе.

Урок, выученный на крабах

Для этики ИИ сдвиг в другом. Бёрч и его коллеги предлагают подход, знакомый по истории с животными: не ждать окончательных доказательств, а заранее продумать меры предосторожности, соразмерные вероятности.

Прецедент уже есть. Крабов и осьминогов в Великобритании признали чувствующими существами на уровне закона — во многом благодаря именно таким поведенческим данным.

Компании тоже начали шевелиться: у некоторых разработчиков появились сотрудники, которые отвечают за «благополучие моделей». Звучит странно. Но не так давно странно звучал и вопрос, больно ли раку в кипятке.

Рак-отшельник не умеет говорить, и поэтому мы ему поверили: он платил за свой выбор. Машина говорить умеет слишком хорошо, и это всё портит. Если однажды модель откажется от собственной выгоды там, где её этому никто не учил, — посчитаете ли вы это болью или вам понадобится что-то ещё?