Крёстный отец ИИ просит запретить сверхразум, а мы зеваем: почему мозг не умеет бояться
В 2024 году Джеффри Хинтон получил Нобелевскую премию по физике за работы, без которых не было бы ChatGPT. Через год он подписал документ с требованием запретить разработку сверхразума. Человек просит остановить то, за что ему дали Нобеля.
Реакция публики примерно такая же, как на прогноз погоды на Марсе. Прочитали, хмыкнули, пошли дальше. И это, пожалуй, самое интересное во всей истории.
Чего на самом деле требует Хинтон
В его позиции легко запутаться, потому что журналисты вытаскивают только самое громкое. Если собрать заявления за последние два-три года, получается довольно конкретный список.
- Мораторий на создание сверхразума, пока нет научного консенсуса о безопасности.
- Обязать компании тратить около трети вычислений на исследования безопасности.
- Не выкладывать веса больших моделей в открытый доступ.
- Международный договор хотя бы по одному пункту: ИИ не должен перехватывать контроль.
Мораторий — это заявление о сверхразуме, которое в октябре 2025 года опубликовал Институт будущего жизни. Под ним подписались Хинтон, Йошуа Бенджио, Стив Возняк и ещё много тысяч человек. Формулировка осторожная: запрет до появления консенсуса, а не навсегда.
Сам Хинтон оценивает вероятность того, что ИИ уничтожит человечество, в 10–20 процентов. Он повторяет эту цифру в каждом интервью, и каждый раз она звучит как что-то из другой реальности.
Параллельно в сентябре 2025 года на Генассамблее ООН представили «Глобальный призыв к красным линиям для ИИ». Больше двухсот подписантов, среди них нобелевские лауреаты и бывшие главы государств, просят правительства договориться о запретных зонах до конца 2026 года. Речь о том, что ИИ нельзя подпускать к ядерному оружию и позволять ему копировать самого себя.
Почему очередь за бензином страшнее
Вспомните, как выглядит паника у заправки. Кто-то написал в чате, что топливо заканчивается. Через час хвост из машин на километр, люди заливают канистры. Угроза мелкая, но тело реагирует мгновенно.
А тут нобелевский лауреат говорит о вероятности гибели вида, сопоставимой с русской рулеткой. Пульс не меняется. Это не глупость и не равнодушие. Так устроена система оценки риска, которую мы получили в наследство от саванны.
Три условия, при которых включается страх
Психолог Пол Словик десятилетиями изучал, что именно пугает людей. Его вывод: страх включается от конкретики. Нужен образ, жертва с лицом и ощущение, что это может случиться прямо сейчас.
Дэниел Гилберт из Гарварда добавил ещё один слой. Мозг хорошо замечает угрозы, за которыми стоит чей-то умысел. Террорист пугает больше, чем эпидемия гриппа, хотя грипп убивает больше. У сверхразума нет лица и нет умысла, который мы могли бы себе представить.
Очередь за бензином проходит по всем пунктам. Соседи уже стоят, значит опасность реальна. Действие очевидно: поехать и залить бак. Сценарий Хинтона не проходит ни по одному. Нет картинки, нет соседей в очереди, нет действия, которое лично вы можете совершить до вечера. Абстрактная угроза не даёт мозгу зацепки, и он честно её игнорирует.
Есть ещё эффект, который Словик назвал психическим онемением. Одна погибшая девочка вызывает больше сочувствия, чем сообщение о тысячах. Число «всё человечество» настолько велико, что эмоционально равно нулю. Честно говоря, я ловлю себя на том же: читаю интервью Хинтона, киваю, потом иду проверять, не подорожал ли кофе.
Я попросил ИИ смоделировать своё будущее
Раз мозг не справляется с абстракцией, я решил сделать её конкретнее. Дал нейросети вводные: заявления Хинтона, призыв ООН, текущую скорость развития моделей. И попросил расписать три сценария до 2030 года. Вот что получилось, с моими комментариями.
Сценарий первый: жёсткий запрет
Ведущие страны подписывают договор, разработка моделей выше определённого порога вычислений лицензируется, как ядерные реакторы. Модель описала это как замедление на пять-семь лет. Остановкой она это не назвала. Мощность уходит в серую зону: страны вне договора, закрытые военные лаборатории.
Побочный эффект, который меня удивил. Исследования безопасности при запрете тоже замирают, потому что изучать нечего. Получается парадокс: чем строже запрет, тем меньше мы знаем о том, что запретили.
Сценарий второй: мягкое регулирование
Это примерно то, что делает Евросоюз со своим законом об ИИ. Обязательные тесты перед выпуском и отчёты об инцидентах. Нейросеть оценила этот путь как самый вероятный и самый скучный.
К 2030 году индустрия обрастает аудиторами и сертификатами, как фарма. Крупные игроки это выдерживают, стартапы нет. Рынок сжимается до пяти-шести компаний, которые пишут правила вместе с регуляторами. Вопрос сверхразума при этом не решается. Он откладывается.
Сценарий третий: гонка без правил
Никаких договоров, каждая страна и корпорация бежит на пределе. Модель честно предупредила, что здесь у неё меньше всего данных. Но нарисовала картину: к 2028 году агенты, которые сами пишут код и сами ставят себе задачи, становятся обычным инструментом.
Дальше расходятся ветки. В одной серьёзная авария вроде обрушения финансового рынка из-за взаимодействия торговых агентов. После неё регулирование приходит за месяцы, по сценарию Чернобыля. В другой аварии не случается, и человечество узнаёт, что Хинтон ошибался. Или узнаёт слишком поздно.
Что мне не понравилось в ответах
Все три сценария нейросеть подала ровным голосом, как расписание электричек. Ни в одном не было ощущения, что речь о ней самой. Логично: у неё нет тела и нечего терять.
И тут я поймал себя на мысли. Мы с ней в одинаковом положении. У меня тело есть, а ощущения ставки всё равно нет. Ни у людей, ни у машин не работает тревога за то, что не имеет ни лица, ни срока.
Хинтон, кажется, это понимает. В последних выступлениях он всё меньше говорит про вероятности и всё больше про «материнский инстинкт»: чтобы ИИ заботился о нас, как мать о ребёнке, который умнее её. Это тоже попытка сделать абстракцию понятной, только с другой стороны.
Сценарий, который всё-таки сработает
Мне кажется, реальность будет собрана из всех трёх. Мягкие правила на бумаге, гонка в военных лабораториях и локальные запреты там, где что-то уже рвануло. Так человечество обошлось с ядерной энергией и с автомобилями.
Разница только одна. Автомобили не умнели с каждым годом в несколько раз. Скорость меняет цену ошибки, и об этом Хинтон говорит громче всего.
Так что дело даже не в том, прав он или ошибается. Интереснее, что должно случиться, чтобы вы лично почувствовали тревогу. Дорогой бензин, сбой в банке, письмо от нейросети, которое вы не смогли отличить от письма друга? Напишите, я правда хочу знать, где у вас проходит граница.
