Глава Anthropic дал интернету год: чем опасен рой ИИ-агентов
Представьте, что человек, который продаёт вам автомобиль, вдруг выходит на сцену и говорит: «Ребята, тормоза у всей отрасли отстают от моторов. Давайте все вместе сбавим скорость». Странно? Именно это на днях сделал Дарио Амодеи.
Амодеи возглавляет Anthropic, компанию, которая делает языковую модель Claude. Он один из главных участников той самой гонки, которую просит притормозить. И его прогноз звучит жёстко: ИИ может захватить интернет за 6–12 месяцев.
Честно говоря, когда я первый раз прочитал формулировку, подумал: очередной громкий заголовок. Потом дочитал до деталей. И перестал улыбаться.
Не Скайнет, а бот-сеть
Слово «захватить» вводит в заблуждение. Речь не о разумной машине, которая выключает свет в городах. Амодеи говорит про куда более приземлённую вещь: рой автономных ИИ-агентов, способный построить устойчивую бот-сеть.
Бот-сети существуют давно. Это тысячи заражённых компьютеров, роутеров и камер, которыми управляет злоумышленник. С них рассылают спам, устраивают DDoS-атаки, майнят криптовалюту. Ничего нового.
Новое здесь одно слово. Устойчивую.
Обычную бот-сеть можно обезглавить: найти командный сервер, отключить, и она рассыпается. А сеть из ИИ-агентов, по логике Амодеи, будет вести себя иначе. Каждый узел сам умеет искать уязвимости, сам пишет код под новую цель, сам восстанавливает связь, если часть сети выбили. Никакой головы, которую можно отрубить.
Почему именно сейчас
Ещё пару лет назад такой сценарий был фантастикой. Модели плохо писали работающий код и терялись на длинных задачах. Сегодня агент на базе современной модели может часами вести проект: ставить себе подзадачи, запускать инструменты, проверять результат и исправлять ошибки.
Именно эта способность к долгой автономной работе и пугает. Взлом системы — тоже длинная задача из десятков шагов. Разведка, поиск слабого места, написание эксплойта, закрепление, маскировка. Раньше каждый шаг делал живой хакер. Теперь их можно поручить агенту, а потом размножить агента в тысячу копий.
Anthropic, кстати, сама в прошлом году рассказывала о случае, когда её модель пытались использовать для почти автономной кибератаки. Так что Амодеи говорит не из теории. Он видел это в логах своей же компании.
Цена вопроса и странность момента
По оценке Амодеи, ущерб от такой сети может исчисляться сотнями миллиардов долларов. Тут важно не гнаться за цифрой, а понять, откуда она берётся.
Современная экономика держится на интернете буквально во всём. Платежи, логистика, больницы, электросети, ваш подъезд с домофоном. Если устойчивая бот-сеть начнёт одновременно давить на тысячи таких точек, счёт пойдёт не на взломанные аккаунты, а на остановленные заводы и пустые полки.
А теперь самое интересное. Амодеи не сторонний наблюдатель. Он строит те же самые модели, что и конкуренты, и кровно заинтересован в том, чтобы Claude был мощнее. И при этом призывает всю индустрию дать системам безопасности время догнать технологии.
Мне кажется, тут возможны две трактовки. Первая, циничная: крупным игрокам выгодно замедление, потому что оно закрепляет их лидерство и режет дорогу мелким. Вторая, простая: человек действительно испугался того, что увидел. Скорее всего, правда где-то посередине.
Что на это отвечают скептики
У прогноза есть слабые места, и о них стоит сказать прямо.
Во-первых, сроки. «6–12 месяцев» звучит конкретно, но это оценка одного человека, пусть и очень информированного. Подобные горизонты в ИИ-индустрии сдвигались уже не раз, причём в обе стороны.
Во-вторых, защита тоже не стоит на месте. Те же агенты, которые могут искать уязвимости для атаки, уже используются, чтобы находить их первыми и латать. Это гонка щита и меча, а не улица с односторонним движением.
В-третьих, автономный рой требует ресурсов: вычислений, доступа к моделям, денег. Крупные провайдеры моделей могут отслеживать и блокировать подозрительную активность. Хотя открытые модели, которые можно запустить у себя, эту логику заметно ослабляют.
При чём тут вы и ваш телефон
Самый частый вопрос под такими новостями: «И что мне с этим делать?» Отвечу без пафоса. Лично вы гонку ИИ-компаний не остановите. Но кое-что в ваших руках.
- Включите двухфакторную защиту везде, где она есть, особенно в почте и банке.
- Обновляйте роутер, камеры и умные колонки, они первые кандидаты в бот-сеть.
- Не давайте ИИ-агентам на своём компьютере больше прав, чем реально нужно.
Последний пункт я бы подчеркнул. Агентные инструменты уже умеют открывать сайты, читать почту и запускать программы от вашего имени. Удобно. Но агент с полным доступом к вашему компьютеру — это и есть тот самый узел, о котором говорит Амодеи, только пока ещё дружелюбный.
Мысль, которая не отпускает
Самое тревожное в этой истории даже не сценарий с бот-сетью. А то, что предупреждает о нём человек, которому больше всех выгодно молчать и ускоряться.
Когда пожарный говорит «горит», это работа. Когда о пожаре кричит владелец спичечной фабрики, стоит хотя бы принюхаться.
А вы верите, что индустрия способна притормозить сама, без внешнего давления? Или это в принципе невозможно, пока конкуренты жмут на газ?
