Конец света от ИИ отменяется? Как не верить ни думерам, ни главе Nvidia
В одну и ту же неделю мне попались два текста про ИИ. В первом к 2030 году машины перехватывают у людей контроль над планетой. Во втором ИИ создаёт больше рабочих мест, чем любая технология за всю историю. Авторы ссылались на одни и те же графики.
Второй текст — интервью Дженсена Хуанга, главы Nvidia. Первый — сценарий «AI 2027», который написали бывшие сотрудники ИИ-лабораторий. Оба автора умнее меня. И оба не могут быть правы одновременно.
Что Хуанг отвечает думерам
Хуанг из года в год повторяет: он не «думер». Так в индустрии называют тех, кто ждёт от ИИ катастрофы. Аргументы у него приземлённые. Каждую большую технологию встречали страхом: электричество, автомобили, интернет. Мир после них стал сложнее, но не закончился.
Второй аргумент: ИИ живёт в физическом мире. Ему нужны чипы, электростанции, охлаждение и годы на стройку дата-центров. Сверхразум не убегает из сервера, потому что бежать ему некуда.
Третий аргумент самый интересный. Хуанг вовсе не отрицает, что модели быстро умнеют. Он сам говорил, что в ближайшие годы ИИ сдаст любой человеческий экзамен. Данные о способностях он принимает, спорит с выводом из них. По его версии, умный инструмент делает людей продуктивнее, поэтому работы становится больше.
Мне кажется, четвёртый аргумент он произносит вслух реже, но подразумевает всегда. Паника вредна сама по себе: напуганные люди тормозят технологию, и её получают те, кто не боялся.
Что видят по ту сторону
Думеры тоже не сумасшедшие. Джеффри Хинтон, нобелевский лауреат и один из отцов нейросетей, ушёл из Google, чтобы говорить о рисках свободно. Шансы катастрофы он оценивал в интервью примерно в 10–20 процентов. Это далеко от «завтра все умрут», но для ставки размером с человечество цифра неприятная.
Элиезер Юдковский в книге с говорящим названием «Если кто-то это построит, умрут все» идёт дальше: сверхразум, собранный нынешними методами, по его мнению, человеческих целей разделять не будет. Авторы «AI 2027» рисуют помесячный сценарий, где ИИ сначала ускоряет собственные исследования, а потом выходит из-под контроля к концу десятилетия.
Обратите внимание на одну вещь. Про способности все говорят одно и то же. Модели растут быстро, и ни Хуанг, ни Хинтон с этим не спорят. Расходятся они в том, что будет дальше. А про «дальше» ни у кого нет данных. Есть только характер, интересы и привычки мозга.
Почему мозг тянется к крайностям
Психолог Филип Тетлок двадцать лет собирал прогнозы экспертов и проверял их. Итог обескураживает: эксперты предсказывали немногим лучше случайности. Хуже всех выступали те, у кого была одна большая теория обо всём. Лучше остальных — те, кто сомневался и пересчитывал.
Дальше включаются искажения, знакомые каждому. Экспоненту человек продлевает либо по прямой вверх, либо упирает в потолок. Выбор между ними делают темперамент и настроение, а сам график молчит. Оптимист видит в кривой плато, пессимист — вертикаль.
Есть ещё эффект доступности. Образ восставшей машины мы видели в сотне фильмов, он всплывает мгновенно. ИИ, который десять лет тихо ускоряет разработку лекарств, в кино не показывают. Апокалипсис легче представить, поэтому он кажется вероятнее.
Со стороны оптимистов работает другая ловушка: ошибка выжившего. Хуанг перечисляет технологии, которые не убили человечество. Но список тех, что могли, и не убили лишь благодаря удаче и договорам, он не приводит. Ядерное оружие стояло бы в нём первым пунктом.
Обе стороны правы, только в разное время
Закон Амары стоит запомнить: эффект технологии переоценивают в короткую и недооценивают в длинную. Первые пару лет после громкой демонстрации мир почти не меняется. Потом меняется так, что старые споры выглядят наивно.
Полное автономное вождение обещали «через год» почти десять лет подряд. Скептики смеялись, и по срокам они были правы. Но сегодня машины без водителя возят пассажиров по нескольким городам, и правы оказались уже оптимисты. Тот же график, разные точки на оси времени.
Отсюда главная развилка в любом прогнозе. «ИИ пишет код лучше среднего программиста» — проверяемое утверждение о способности. «Программисты исчезнут к 2030 году» — прогноз о мире, где есть трудовые договоры, инерция компаний и люди, которые не любят менять привычки. Между способностью и последствием лежат годы, и именно в этот зазор проваливаются самые громкие предсказания.
Кому что выгодно
Здесь, честно говоря, без цинизма не обойтись. Nvidia продаёт лопаты во время золотой лихорадки. Каждый апокалиптический сценарий заканчивается регулированием, а регулирование — это ограничения на продажу чипов. Оптимизм Хуанга стоит триллионы, и он знает об этом лучше нас.
У думеров карта сложнее. Хинтон от своих слов ничего не выигрывает, скорее теряет. Но лаборатории, чьи модели «настолько опасны», получают бесплатную рекламу и заодно аргумент за такие правила, которые маленькие конкуренты не потянут. Авторы книг и рассылок живут на внимании, а страх собирает его лучше всего.
Правило, которое я вывел для себя: интерес автора не делает прогноз ложным. Он делает его поводом проверить дважды. Хуанг может быть прав, хотя ему это выгодно. Хинтон может ошибаться, хотя ему это невыгодно.
Чек-лист для любого прогноза об ИИ
Семь вопросов, которые я задаю тексту раньше, чем начинаю в него верить. Работают одинаково на панику и на эйфорию.
- Кто говорит и что он продаёт: чипы, книгу, подписку или спокойствие?
- Есть ли дата и условие, при котором прогноз считается провалившимся?
- Речь о способности модели или о последствиях для мира? Это разные вещи.
- Сколько прошлых прогнозов автора сбылось? Он сам это когда-нибудь считал?
- Учтена ли физика: чипы, электричество, деньги, годы на внедрение?
- Что заставило бы автора передумать? Если ответа нет, перед вами вера.
- Что вы чувствуете после чтения? Сильная эмоция — сигнал перепроверить.
Прогноз Хуанга проходит по физике и спотыкается на шестом пункте: я ни разу не слышал, что могло бы заставить его передумать. Сценарий «AI 2027» отлично проходит по датам, у него есть конкретные вехи, и первые уже можно сверять с реальностью. По некоторым данным, авторы сами сдвигали свои оценки на более поздний срок.
Так что конец света к 2030 году не отменяется и не назначается. Он просто плохо предсказывается, как любое событие, которого ещё не было. Зато прогнозист предсказывается отлично: прогноз говорит об авторе больше, чем о будущем.
Какой прогноз об ИИ вы сами когда-то приняли всерьёз, и что с ним стало через пару лет?
