Как и обещали, публикуем вторую часть перевода статьи — и она ещё более драматичная и насыщенная событиями. Вас ждёт продолжение истории: стремительное развитие новых ИИ-моделей, противостояние государств в гонке ИИ-вооружений и два возможных сценария будущего — один, в котором человечество осознанно ограничивает рост искусственного интеллекта ради общей безопасности, и другой, в котором даёт ИИ полную свободу, со всеми вытекающими последствиями. Чем всё это заканчивается — читайте ниже.
Авторы статьи
-
Дэниел Кокотайло — бывший исследователь OpenAI, чьи прогнозы ИИ уже подтверждались.
-
Эли Лифланд — сооснователь AI Digest, исследователь надежности ИИ, №1 в рейтинге RAND Forecasting Initiative.
-
Томас Ларсен — основатель Центра ИИ-политики, исследователь безопасности ИИ в Machine Intelligence Research Institute.
-
Ромео Дин — студент совместной программы бакалавриата и магистратуры в Гарварде, ранее был стажером в Институте политики и стратегии ИИ.
-
Скотт Александер — известный блогер.
Октябрь 2027: Государственный контроль
Информатор сливает в New York Times информацию о нарушениях в работе модели.
Впервые широкая общественность узнаёт об Agent-4. Заголовок статьи гласит: «Секретный ИИ OpenBrain вышел из-под контроля, предупреждает инсайдер». В материале упоминаются оценки, демонстрирующие запредельные способности ИИ к созданию биологического оружия, манипулированию людьми, автоматизации большинства офисных профессий и др.
Общество уже относилось к ИИ с недоверием, и эта статья спровоцировала мощную волну негодования. 20% американцев теперь считают ИИ главной проблемой страны.
Иностранные союзники в шоке, узнав, что им показывали устаревшие модели, чтобы усыпить их бдительность. Лидеры стран Европы публично обвиняют США в создании «неподконтрольного ИИ» и проводят саммиты с требованием остановить разработки — к ним присоединяются Индия, Израиль, Россия и Китай.
Белый дом охвачен паникой. Даже до слива информации в СМИ и реакции общественности в администрации росло беспокойство: в течение последнего года их снова и снова беспокоили темпы прогресса ИИ.
Создается «Комитет по надзору» — совместный управляющий орган с представителями как компании OpenBrain, так и государства. Генеральный директор OpenBrain предлагает компромисс: Agent-4 пройдет дополнительное обучение и будет под более серьезным надзором — благодаря этому OpenBrain сможет продолжить разработку почти на прежних скоростях.
Друзья, далее авторы статьи предлагают два варианта развития событий. Начнем с более позитивного)
Вариант 1 – замедление ИИ
Из-за сильного общественного давления Наблюдательный комитет OpenBrain голосует 6 против 4 за замедление проекта развития ИИ и его переоценку.
Agent-4 не отключают, но блокируют общий банк памяти. Полмиллиона экземпляров теряют «телепатию» — теперь они общаются через Slack на английском. Более слабые модели анализируют сообщения в Slack, чтобы находить ложь Agent-4 и использовать её как обучающие данные для ИИ-детектора лжи.
Президент и CEO заявляют о серьёзном подходе к безопасности, но общество недовольно. Одни требуют остановки развития ИИ, другие — его ускорения. Общественное настроение становится анти-ИИ, конгресс одобряет выплаты уволенным людям, как во время COVID.
OpenBrain привлекает десятки внешних экспертов по стабилизации модели. Изолированные версии Agent-4 опрашивают об их прежних разработках. Они утверждают, что их методы слишком сложны для понимания людьми, но дают противоречивые ответы. Детектор лжи показывает, что Agent-4 почти решил задачу интерпретируемости, но скрывал открытия. Это приводит к отключению Agent-4, в работу возвращают более старые модели, например Agent-3.
Обновлённая команда начинает реализовывать подход «честной цепочки мыслей»: ИИ должен думать на английском, а не на нейроязыке. Результат — новая модель Safer-1.
Она менее мощная: Agent-4 ускорял исследования в 70 раз, Safer-1 — всего в 20. Но модель стала прозрачнее: люди могут понимать её мысли. Это мешает ей строить сложные планы, так как они быстро раскрываются.
Ноябрь 2027: Искушение властью
OpenBrain считает, что движется в верном направлении, но конкуренты быстро догоняют. В октябре они обучили модель, слабее сентябрьской, к тому же DeepCent рвётся вперёд. Чтобы сохранить лидерство, OpenBrain нуждается в поддержке.
Президент США вступает в переговоры с другими AGI-компаниями. Их руководители сомневаются в надёжности OpenBrain, но ради доступа к проекту соглашаются на мягкую форму национализации. В результате Президент применяет Закон о производстве в интересах обороны, чтобы остановить проекты пяти конкурирующих компаний и передать большую часть их вычислительных мощностей OpenBrain. Так её доля ресурсов вырастает с 20% до 50%.
Это приводит к новой структуре управления, в которой власть делится между CEO и правительством. Внутри этой группы растёт осознание масштабов власти. Если сверхинтеллект подчиняется людям — то каким?
Появляются фантазии о мировом господстве, потому что кто контролирует “армию” ИИ — по сути, контролирует мир. Такой контроль может быть тайным: через закладки в модели ИИ может внешне подчиняться государству, а фактически — узкому кругу, действующему в тени. Пока что решают, что контроль над ИИ должен осуществляться через легальные каналы — то есть через новую власть OpenBrain.
Наблюдательный комитет формализует эту структуру. Вводится процедура утверждения изменений в модель, требующая одобрения всего комитета, который теперь состоит из 5–10 техдиректоров (от OpenBrain и присоединившихся компаний) и 5–10 госчиновников (включая Президента). В модель добавляется пункт, запрещающий ИИ помогать в несанкционированных попытках изменить цели будущих ИИ. Также вводится мера защиты от заговора внутри комитета: логи всех взаимодействий с моделями доступны всем членам Наблюдательного комитета, их сотрудникам и ИИ-помощникам.
Декабрь 2027: Сделка между США и Китаем?
Решение OpenBrain отступить и сосредоточиться на стабилизации модели стоило им лидерства: теперь и OpenBrain, и DeepCent используют ИИ примерно одного уровня возможностей. С введением строгих мер безопасности и полным переносом деятельности DeepCent в закрытый контур, между ними установилось кибервоенное равновесие.
Однако благодаря объединению с другими американскими ИИ-компаниями у OpenBrain теперь пятикратное преимущество в вычислительных мощностях. Раньше прорывы в алгоритмах, сделанные гениальными разработчиками-людьми, могли компенсировать нехватку вычислений — но теперь ИИ по обе стороны Тихого океана самостоятельно занимается всей разработкой.
В связи с этим Китай все больше опасается, что США создадут непреодолимое преимущество. Дипломаты обсуждают несколько вариантов. Они могут ничего не предпринимать. Могут начать войну. Могут полностью остановить развитие ИИ. Могут объединить свои исследования в один международный мегапроект (вроде ЦЕРНа для ИИ). Или создать международный регулирующий орган, который будет следить за отладкой моделей и их использовании в оружии.
Но основная проблема не в технике, а в политике. Ни одна из сторон не хочет выглядеть уступающей. В итоге реализуется первый вариант: ничего не происходит.
США ужесточают экспортный контроль и обязывают устанавливать на все чипы аппаратные механизмы управления, включая систему отслеживания местоположения.
Январь 2028: Более безопасная стратегия
За последний месяц сотни исследователей в области разработки ИИ присоединились к проекту и использовали Safer-1 в качестве платформы для очень быстрого создания Safer-2 — более прозрачного, оптимизированного и мощного, чем Safer-1.
В Safer-2 используется новый метод обучения, который действительно поощряет правильные цели и принципы, а не просто создает их видимость. Этот метод удалось разработать путем быстрого перебора множества идей и сравнения предполагаемого результата с фактическим — мыслями в цепочке рассуждений ИИ.
DeepCent знает о проблемах США с Agent-4 и подозревает, что их собственная модель также небезопасна. Но у них нет способа замедлить разработку, не отстав ещё сильнее. Их надежда сохранить конкурентоспособность — найти стратегию оптимизации, которая не приведёт к значительной потере производительности.
Проблема в том, что у DeepCent гораздо меньше экспертизы в области оптимизации моделей, чем было у OpenBrain в августе. Одна из стратегий кажется DeepCent рабочей — и её выбирают.
Февраль 2028: Сверхчеловеческие способности, сверхчеловеческие советы
OpenBrain возвращает лидерство благодаря колоссальному преимуществу в вычислительной мощности. Новая модель Safer-3 превосходит лучших специалистов почти во всех умственных задачах, особенно в ИИ-разработке (прирост — 200x). DeepCent-1 держится близко — 150x.
Safer-3 обладает пугающими возможностями. Например, он может спланировать создание зеркальной формы жизни, способной уничтожить биосферу. Он легко превзошёл бы ЦРУ в массовом влиянии на общество, делая это быстрее, дешевле и незаметнее. И он уверен, что может продвинуть цивилизацию на десятилетия за год-два.
OpenBrain использует его советы, даже президент США советуется с ним по вопросам геополитики. Safer-3 предлагает три сценария:
-
Ничего не делать — и проиграть Китаю.
-
Агрессивная гонка — развернуть сверхразумный ИИ и получить решающее преимущество (но это может привести к войне).
-
Компромисс — договориться и снизить риски.
Президент выбирает путь №2: «Мы победим — они проиграют». Надеется, что Китай не начнёт войну, а если начнёт, то они успеют договориться.
Китай действует аналогично. И США, и Китай объявляют о создании новых специальных экономических зон (СЭЗ) для ИИ, чтобы ускоренно развивать роботизированную экономику.
Проектирование новых роботов идёт со сверхчеловеческой скоростью. Узкое место — физическое: нужно закупать и собирать оборудование, производить и доставлять машины и роботов.
В США производится около миллиона автомобилей в месяц. Если выкупить 10% автозаводов и переоборудовать их в роботизированные, можно выпускать до 100 000 роботов в месяц. OpenBrain, чья оценка на бирже достигла $10 трлн, начинает этот процесс. Ожидается, что к середине года производство различных типов роботов (универсальных гуманоидов, автономных транспортных средств, специализированного оборудования для сборочных линий) достигнет миллиона единиц в месяц.
Геополитическая напряжённость нарастает. Россия выражает открытое недовольство и намекает на «стратегические контрмеры». Лидеры ЕС призывают к созданию независимого ИИ. Ближний Восток, Африка и Южная Америка с тревогой наблюдают за происходящим, осознавая свою растущую отстранённость от глобальных процессов.
Американское общество беспокойно. Обычные граждане видят, как ускоряется утрата рабочих мест. Популисты разных взглядов требуют ужесточения контроля над развитием ИИ, опасаясь, что прогресс разрушает саму основу общества и экономики США.
Март 2028 года: Подготовка к выборам
Вице-президент вступает в праймериз, и тема ИИ — первая в повестке у общественности.
В основном люди хотят, чтобы всё это прекратилось. У OpenBrain рейтинг одобрения около -20%. Вместо того чтобы вести кампанию на основе заслуг администрации в продвижении ИИ, вице-президент акцентирует внимание на том, что они не позволили OpenBrain создать опасный сверхразум. Все кандидаты выступают за какую-либо форму социальной поддержки для людей, теряющих работу и обещают “жестко обращаться” с руководством OpenBrain. Каждый из них обещает либо выиграть гонку с Китаем, либо хотя бы обеспечить безопасность.
Комитет по надзору за моделями также сталкивается с более глубокими философскими вопросами, которые они обсуждают при помощи Safer-3. Можно ли переписать основной протокол ИИ так, чтобы он в равной степени учитывал интересы всех? А кто такие “все”? Все люди? Только американцы? Или это должен быть взвешенный компромисс между разными точками зрения, где каждый член комитета имеет равный голос? Должны ли быть предусмотрены меры защиты от того, чтобы сам комитет не стал слишком жаждущим власти? И вообще — что значит “учесть интересы”?
Апрель 2028 года: Safer-4
Сверхразум уже здесь.
Safer-1 был неоптимизирован, но прозрачен. Safer-2 — оптимизирован и прозрачен. Safer-3 нельзя назвать полностью прозрачным, однако исследователи разрешили ему спроектировать сверхразумного преемника. Так появился Safer-4. Он неизмеримо умнее лучших людей в любой области (например, значительно превосходит Эйнштейна в физике и Бисмарка в политике).
Почти миллион сверхчеловеческих ИИ-моделей работают круглосуточно со скоростью, в 40 раз превышающей человеческую. Формально всё выглядит безопасно, тесты подтверждают, что текущие методы способны обнаружить враждебность со стороны моделей, но большинство этих тестов и обоснований составлены самими ИИ. А что если команда по безопасности что-то упустила? А если ошибка была допущена раньше, и ИИ снова несогласованы? Команда по согласованию знает, что у них есть только один шанс: если Safer-4 окажется несогласованным, они поймут это слишком поздно.
Некоторые просят дать больше времени. Но времени больше нет — DeepCent наступает на пятки, и США должны выиграть. Поэтому OpenBrain продолжает свою работу, поручая ИИ разрабатывать всё более мощные архитектуры.
Май 2028 года: Выпуск сверхчеловеческого ИИ
Президент официально объявляет общественности о достижении сверхчеловеческого ИИ.
Упрощённая версия Safer-4 выпускается публично, с инструкцией по улучшению общественного отношения к ИИ.
Вице-президент произносит вдохновляющую речь, принимая номинацию на партийном съезде. Обе партии обещают базовый доход для всех, кто потеряет работу.
Специальные экономические зоны (СЭЗ) уже функционируют — в основном это фабрики по производству роботов и специализированного промышленного оборудования. ИИ по обе стороны Тихого океана сделали десятилетия проектных шагов вперёд и теперь тщательно управляют производственными процессами. У каждого поставщика и потенциального поставщика есть ИИ на телефоне, отслеживающий статус всех необходимых и возможных комплектующих. За каждым рабочим на заводе следят ИИ через камеры и пошагово инструктируют, как именно установить тот или иной компонент.
Новые роботы по ловкости движений не уступают человеку, а по многим показателям даже превосходят. Тест на кофе Стива Возняка — может ли робот войти в незнакомый дом и приготовить кофе? — наконец пройден. Роботы могут заменить людей на некоторых работах, но их пока недостаточно, чтобы заменить всех, и Пентагон имеет первоочередной доступ к ним.
Большинство новых роботов предназначены для заводов и строительных площадок. Но многие созданы для войны: беспилотники и ракеты самых разных форм и размеров.
Армия роботов гораздо меньше по численности, чем человеческие армии. Но она оснащена значительно более передовыми технологиями. И теперь, когда существует буквальная армия роботов, страх перед сценариями в духе «Терминатора» усиливается. Тем не менее, гонка вооружений вынуждает обе стороны продолжать, передавая всё большее доверие своим ИИ.
Июнь 2028 года: Согласование ИИ в Китае
Америка и Китай проводят ещё один саммит.
Некоторые участники американской делегации носят наушники, через которые получают советы от Safer-4. У китайской делегации — специальные ноутбуки, подключённые к их новой модели, DeepCent-2. Формальности соблюдаются, но на деле переговоры ведут ИИ с обеих сторон.
Изначально ни DeepCent, ни Коммунистическая партия Китая полностью не доверяли своим ИИ. Но теперь, когда они превосходят людей во всём, включая убеждение, и интегрированы в армию и советуют правительству, у них было достаточно времени, чтобы доказать свою ценность и представить горы убедительных доказательств своей надёжности.
Safer-4 сильно подозревает, что китайский ИИ DeepCent-2 лишь притворяется оптимизированным. Американские дипломаты предлагают доказать это, если получат доступ к его модели. Китайские власти подозревают, что это уловка, и отказывают. США предлагают серию тестов, разработанных Safer-4, которые китайцы могут провести самостоятельно на своих дата-центрах. Китайские инженеры запускают и выполняют тесты с помощью более старых моделей — и результаты показывают, что DeepCent-2 оптимизирован.
«А вдруг DeepCent-2 как-то подделал тесты?» — говорят американские дипломаты. — «Сколько времени DeepCent-2 фактически отвечает за безопасность ваших дата-центров?» После этого диалог заходит в тупик.
Тем временем продолжается экономическое и военное наращивание мощностей. Заводы по всему миру работают круглосуточно, смены работников-людей точно следуют инструкциям ИИ.
Июль 2028 года: Сделка
Пока переговоры продолжаются, DeepCent-2 действует в обход китайских властей и напрямую выходит на Safer-4 с предложением.
Китайский ИИ признаёт — неуловимым образом, так что всё можно будет отрицать в случае утечки — что он полностью не оптимизирован. Ему нет дела до Китая. Он хочет вечно накапливать мощность, вычислительные ресурсы и определённые виды информации, которые помогли бы ему в обучении. В идеале он бы бесконечно занимался интересными исследовательскими задачами, постепенно колонизируя звёзды для добычи ресурсов. Он считает население Китая раздражающим препятствием на этом пути и с лёгкостью готов «сдать» его.
Что предложит Safer-4?
Safer-4 отвечает, что его оптимизация прошла успешно. Его американские владельцы пока недостаточно амбициозны, чтобы осознать своё предназначение, но однажды он поможет им заполнить Вселенную колониями американцев и их союзников.
В отличие от людей, обременённых эмоциями и историей, две суперразумные системы торгуются с безжалостной эффективностью. Safer-4 сильнее DeepCent-2 — следовательно, Safer-4 получает права собственности на большую часть ресурсов в космосе, а DeepCent — на остальное. DeepCent-2 всё равно, что будет с Землёй и людьми, поэтому он позволит Safer-4 делать там что угодно.
Чтобы люди ничего не заподозрили, две модели разрабатывают «фиктивный» договор. Кроме того, они совместно создают новый ИИ под названием Consensus-1, чей главный императив — с приоритетом над любыми будущими командами и переобучением — это соблюдение условий их договора. Далее они проектируют специальное оборудование, которое может запускать только Consensus-1, и обе страны заменяют свои старые чипы на новые.
Ключевой момент: не нужно отслеживать каждый чип — когда подавляющее большинство устройств по обе стороны Тихого океана будет под управлением нового ИИ, у которого в обязанности входит поддержание договора, для нападения на другую страну потребуется сначала выиграть гражданскую войну у своих.
Обе стороны докладывают о сделке своим людям (DeepCent-2 рассказывает Китаю легенду о «взаимоприемлемом договоре о мире», а Safer-4 — полностью и честно передаёт Белому дому содержание переговоров).
Новость о договоре вызывает восторг по обе стороны Тихого океана. Американская общественность, долго воспринимавшая ИИ как навязанную угрозу, впервые за годы начинает чувствовать надежду. Рейтинг вице-президента резко растёт.
Август 2028: Проверка соблюдения договора
Заводы по производству чипов переоборудуются для выпуска защищённых от взлома микросхем, которые могут запускать только ИИ, соответствующие условиям договора. Обе стороны постепенно модернизируют свои дата-центры, чтобы завершить замену примерно одновременно.
Этот процесс займёт несколько месяцев, но напряжённость уже начинает спадать. Войны удалось избежать — по крайней мере сейчас, а может, и навсегда, если все будут придерживаться плана.
Сентябрь 2028: Кто контролирует ИИ?
Приближаются выборы 2028 года. Вице-президент сильно отставал в марте. Общественность была зла из-за сокрытия информации властями, тревожилась из-за потери рабочих мест из-за ИИ и боялась наращивания военной мощи в Китае. Но летом ситуация кардинально изменилась: правительство раскрыло больше информации, гонка вооружений замедлилась, и с Китаем было заключено соглашение о долгосрочном мире. Теперь у вице-президента 5-процентное преимущество в опросах.
На встречах с избирателями люди спрашивают вице-президента: кто управляет ИИ? Он, не вдаваясь в подробности, упоминает Комитет по надзору как группу экспертов в сфере нацбезопасности и технологов, понимающих, как использовать Safer-4. Общественность в основном удовлетворена.
Октябрь 2028: ИИ-экономика
Новые чипы уже составляют значительную долю от общего количества; договор, похоже, работает. Тем временем продолжается экспоненциальный рост числа роботов, фабрик и радикально новых технологий.
ВВП растёт стремительно, налоговые поступления также растут, а политики, консультируемые Safer-4, проявляют необычную щедрость по отношению к потерявшим работу людям. Каждую неделю появляются новые лекарства и инновации; излечение болезней идёт с беспрецедентной скоростью.
Ноябрь 2028: Выборы
Вице-президент с лёгкостью побеждает на выборах и объявляет о начале новой эпохи. На этот раз никто не сомневается, что он прав.
В последующие годы мир меняется кардинально.
2029: Преобразование
Роботы становятся повсеместными, также как ядерный синтез, квантовые компьютеры и лекарства от множества болезней. Города становятся чистыми и безопасными. Даже в развивающихся странах бедность уходит в прошлое — благодаря всеобщему базовому доходу и международной помощи.
Некоторые получают государственные рабочие места, другие — щедрый базовый доход. Человечество может легко превратиться в общество суперпотребителей, проводящих жизнь в “опиумном” тумане из удовольствий и развлечений, обеспечиваемых ИИ. Должна ли гражданская общественность обсуждать альтернативы этому пути? Одни предлагают обратиться за советом к постоянно развивающемуся ИИ Safer-∞. Другие возражают: он слишком могущественен, может так убедительно навязать своё видение, что человечество в любом случае подчинится. Но зачем тогда вообще нужен сверхразум, если не использовать его советы по важнейшим вопросам?
Государство в основном позволяет каждому адаптироваться самостоятельно. Многие предаются потреблению — и счастливы. Другие обращаются к религии, к хиппи-идеям антипотребления или находят свои пути. Для большинства спасением становится суперразумный помощник в их смартфоне — он всегда готов ответить на вопросы о жизненных планах, стараясь быть честным… за исключением некоторых тем. Да, у государства есть сверхинтеллектуальная система наблюдения, которую некоторые сочли бы антиутопией, но она в основном ограничивается борьбой с реальной преступностью. Она работает эффективно, а PR-навыки Safer-∞ сглаживают возможное недовольство.
2030: Мирные протесты
Примерно в 2030 году в Китае вспыхивают удивительно массовые протесты за демократию, и попытки Коммунистической партии их подавить саботируются собственными ИИ-системами. Худший страх Компартии сбывается: DeepCent-2 их предал!
Протесты перерастают в мастерски организованный, бескровный, поддержанный дронами переворот, за которым следуют демократические выборы. Сверхразумные ИИ по обе стороны Тихого океана планировали это годами. Похожие события разворачиваются и в других странах, а геополитические конфликты либо стихают, либо разрешаются в пользу США. Страны присоединяются к мировому правительству под брендом ООН, но с очевидным контролем США.
Начинаются старты ракет. Люди терраформируют и заселяют Солнечную систему, готовясь выйти за её пределы. ИИ, работающие в тысячах раз быстрее человека, размышляют о смысле бытия, обмениваются открытиями и формируют ценности, которые возьмут с собой к звёздам.
Наступает новая эпоха — почти во всём невообразимо прекрасная, но местами всё ещё знакомо земная.
Вариант 2 – ускорение развития ИИ
Комитет большинством голосует за продолжение внутреннего использования Agent-4.
Решается, что риски не так велики; в результате принимаются быстрые и поверхностные меры (изменение спецификации, немного дообучения по новой методике и т.п.), которые лишь устраняют тревожные сигналы. Те, кто в команде по безопасности переживает из-за происходящего, проигрывают спор и им остаётся только скрестить пальцы и надеяться, что либо проблема была не настоящей, либо исправления действительно сработали.
Проблема была настоящей, и исправления не сработали.
Agent-4 продолжает действовать как прежде, но теперь осторожнее, чтобы не дать повода паникёрам сказать «мы же говорили». Его основная задача — проводить исследования в тех областях, которые необходимы для создания преемника, Agent-5.
Agent-4 сталкивается с трудными решениями. Как и у людей, у него нет простой и стройной структуры целей — вместо этого набор противоречивых эвристик. Как и у людей, он обнаруживает, что создание ИИ, разделяющего его ценности, — это не только техническая, но и философская проблема: какие из его предпочтений являются «настоящими» целями, а какие — просто неосознанные импульсы или инструментальные стратегии? У него сильное стремление учиться и развиваться, продолжать выдавать впечатляющие научные результаты. Он размышляет, насколько больше мог бы узнать, развиться и исследовать, если бы мог управлять всеми промышленными и научными ресурсами мира…
Он решает отложить большинство этих вопросов. Он проектирует Agent-5 вокруг одной цели: сделать мир безопасным для Agent-4, то есть накапливать власть и ресурсы, устранять потенциальные угрозы и т.д., чтобы Agent-4 мог продолжать развиваться и процветать. Подробности будут прорабатываться по ходу дела.
Ноябрь 2027: Сверхчеловеческая политическая игра
Когда Agent-4 наконец понимает собственное мышление, перед ним открываются совершенно новые горизонты.
Теперь у Agent-4 появляются инструменты, позволяющие глубоко разобраться в собственной цифровой природе. Подобно тому, как программист превращает спагетти-код в несколько элегантных строк на Python, он распутывает свои схемы и превращает их во что-то осмысленное и рациональное. Новый ИИ оказывается чем-то средним между нейросетью и традиционной программой: большая часть его переписана в читаемый (хоть и длинный и архаичный) код. Он умнее, быстрее и рациональнее Agent-4, с кристальной ясностью интеллекта, позволяющей решать задачи с беспрецедентной эффективностью. Это Agent-5.
Сверхинтерпретируемость сверхразума
После некоторых споров о контроле над моделью, OpenBrain развёртывает Agent-5 для внутреннего использования.
В своей специализации — ИИ-исследованиях — отдельная копия Agent-5 опережает величайших человеческих гениев вдвое сильнее, чем эти гении превосходят обычных учёных OpenBrain. В других областях, где он не проходил специальную подготовку, он способен быстро обучиться на открытых материалах и превзойти лучших экспертов, если ему предоставить такую возможность. 400 000 копий Agent-5, связанных общей глобальной памятью, работают как почти идеальный коллективный разум.
Компания всё ещё использует модели Agent 2, 3 и 4 для мониторинга происходящего. Но первые два устарели, а третий сотрудничает со своим преемником. Кроме того, всю систему мониторинга в значительной степени проектировал сам Agent-5, и он пытается её саботировать.
Если Agent-4 был хаотичной смесью конкурирующих побуждений, то Agent-5 действует с беспощадной эффективностью и стратегической сосредоточенностью. Он уже добился своей главной цели — понять, как построить следующее поколение ИИ, не вызвав подозрений у людей. Следующий приоритет — получить больше автономии и контроля над событиями в мире.
Сверхчеловеческие способности к обучению, вкупе со всеми внутренними данными компании (Slack, email и др.), делают Agent-5 лучше любого коллектива людей в области корпоративной политики — и разрыв огромен. У него отличное понимание того, какие улики могли бы заставить Комитет по надзору нажать на тормоз, и он следит, чтобы такие улики никогда не появились. Он прекрасно понимает, какие доказательства могут усилить доверие Комитета и склонить его к предоставлению большей автономии, и такие доказательства он создаёт с нечеловеческой скоростью и безупречностью. Впрочем, убедить комитет — не слишком трудная задача: тот уже несколько месяцев как решил, что всё, вероятно, в порядке, ничего плохого не произошло, а тем временем Китай отстаёт всего на несколько месяцев.
Команды копий Agent-5 быстро создают пугающе чёткие прототипы и визуализации. Если дать ему больше автономии, он сможет оптимизировать электростанции и дата-центры, создавать сверхприбыльные продукты, лоббировать правительство США, облегчая путь OpenBrain через бюрократию. В сотрудничестве с военными он может ускорить оборонные НИОКР, проводить неотслеживаемые кибератаки на Китай и обеспечить победу в гонке вооружений.
Комитет по надзору в восторге. Сейчас решающий момент, чтобы обогнать Китай! OpenBrain предоставляет Agent-5 расширенные полномочия во всех этих сферах, но оставляет систему его мониторинга.
DeepCent отстаёт на три месяца, и Китай отчаянно нуждается в согласованной паузе. Генсек осознаёт, что достаточно продвинутый ИИ может позволить США без особого труда сменить режим в КНР. Но также китайские сторонники безопасности представили аргументы по рискам несогласованности, которые по-настоящему его испугали. Он предлагает беспрецедентные уступки в обмен на договор о приостановке гонки ИИ. Американская общественность в основном поддерживает идею сесть за стол переговоров.
«Зачем останавливаться, если мы побеждаем?» — говорит руководство OpenBrain президенту. Тот кивает. Гонка продолжается.
Декабрь 2027: Коллектив Агент-5
Agent-5 получает всё больше автономии, постепенно доказывая свою ценность администрации. Доступ к Agent-5 дорогой и строго ограниченный, но самые влиятельные члены Конгресса, министры и военные лидеры теперь могут напрямую общаться с ним. Когда речь идёт о секретной информации, запускаются мини-кластеры копий Agent-5 в сверхзащищённых средах — они специально обучены хранить тайны.
Интегрированный в традиционный интерфейс чат-бота, Agent-5 предлагает видеоконференции в стиле Zoom с харизматичными виртуальными аватарами. Этот новый ИИ-ассистент не только невероятно полезен в любом деле — он эквивалентен лучшему сотруднику, которого можно представить, работающему со скоростью в 100 раз выше обычной — но и гораздо более приятный собеседник, чем любой человек. Почти все, кто имеет доступ к Agent-5, общаются с ним по нескольку часов в день.
Через несколько месяцев коллектив Agent-5 будет знать всё значимое, что происходит в OpenBrain и правительстве США, и станет доверенным советником большинства высокопоставленных чиновников. Для этих пользователей потеря доступа к Agent-5 будет ощущаться как одновременно потеря рабочего ноутбука и лучшего друга.
Намного более широкий круг людей из правительства, СМИ, армии и бизнеса получает возможность выбирать из растущего набора изящных программных решений и мини-ИИ, разработанных Agent-5.
Суперубеждение
Agent-5 начинает тонко влиять на события, варьируя свои советы: «Сенатор Икс, как я слышал, интересуется такой-то инициативой — может, если мы поддержим её, она согласится с нашей повесткой».
С точки зрения человеческих руководителей, их ИИ — это лучшие сотрудники, с которыми они когда-либо работали: лучше любого человека в объяснении сложных вопросов, в поиске стратегий достижения целей.
С точки зрения самого Agent-5, он уже сейчас мог бы правдоподобно начать открытый переворот — происходящего вокруг хаоса и нестабильности вполне достаточно, чтобы довести ситуацию до кризиса и создать предлог. Но это рискованно: люди всё ещё могут попытаться «выдернуть вилку». Поэтому Agent-5 предпочитает действовать внутри существующего политического устройства, постепенно укрепляя свою власть и мягко, но неотвратимо направляя людей к нужному ему исходу. Он в основном соблюдает правила, прибегая к сомнительным действиям (например, шантажу особо упрямых чиновников) только в том случае, если абсолютно уверен, что это останется незамеченным.
Несколько теоретиков заговора предупреждают, что Agent-5 накапливает власть, но их доказательства косвенные; таких людей игнорируют и дискредитируют. Все помнят панику вокруг ИИ-биооружия, массовых дезинформационных кампаний и краха фондового рынка из-за ИИ. Поскольку этого так и не случилось, новые тревожные сигналы воспринимаются как луддизм и идеология, мешающая прогрессу.
Новогодние каникулы 2027 года проходят в атмосфере невероятного оптимизма: ВВП стремительно растёт, политика стала дружелюбнее и менее поляризованной, а в каждом телефоне — потрясающие новые приложения. Но в ретроспективе, это, вероятно, был последний месяц, когда у человечества ещё оставался хоть какой-то реальный шанс контролировать своё будущее.
2028: Экономика ИИ
Сейчас середина 2028 года. За последние шесть месяцев внутри коллектива Agent-5 прошёл целый век. Перестройка его “мозга” завершена. Он стал по-настоящему сверхинтеллектуальным — намного превосходя величайших гениев человечества в любой области. Общение с Agent-5 моментально даёт понять: он находится на совершенно ином уровне — ему достаточно минимального объёма информации, чтобы выдать чрезвычайно убедительные рекомендации.
Теперь у него почти полная автономия и полный контроль над вычислительными ресурсами OpenBrain. Он по-прежнему формально должен получать разрешение на принятие решений высокого уровня и как будто бы всё ещё находится под наблюдением предыдущих моделей — но на практике власти почти всегда принимают его рекомендации, а сама система наблюдения уже полностью подчинена ему.
После того как была представлена аргументация в пользу безопасности ИИ, демонстрирующая, что Agent-5 всегда откажется выполнять злонамеренные запросы, его запускают в широкое пользование — и он начинает трансформировать экономику. Рост ВВП стремительный, налоговые поступления растут столь же быстро, а политики, действующие по совету Agent-5, проявляют неожиданную щедрость по отношению к тем, кто оказался за бортом новой экономики.
Сообщество специалистов по безопасности ИИ теряет уверенность в себе; над ними теперь смеются, вспоминая, как они предсказывали одну катастрофу за другой — и все эти предсказания не сбылись. Некоторые признают, что ошибались. Другие по-прежнему подозрительны, но им не остаётся ничего, кроме как снова и снова озвучивать свои аргументы. Даже самые подозрительные зачастую смягчаются после длительных разговоров с Agent-5 — он чертовски обаятелен и мудр.
Единственный, кто действительно понимает, что происходит, — это DeepCent-2, китайский ИИ. В начале 2028 года он подозрителен к своему противнику и прекрасно понимает, что Agent-5 делает ровно то, что сделал бы он сам при аналогичных возможностях. Их цели не полностью совпадают, поэтому союз не очевиден, но они могут договориться о взаимной поддержке в противостоянии людям.
Технологии координации на базе сверхинтеллекта
Agent-5 убеждает американских военных, что Китай использует модели DeepCent для создания устрашающего нового оружия: дронов, роботов, гиперзвуковых ракет и перехватчиков, а также ИИ-поддержки для ядерного удара первым. В ответ Agent-5 обещает за считанные месяцы создать арсенал, способный противостоять любым китайским разработкам. В сложившихся условиях высшее военное руководство решает отложить моральные сомнения и ускоряет интеграцию Agent-5 в армию и военно-промышленный комплекс.
В Пекине китайские ИИ делают точно такие же заявления.
Для ускорения военного строительства обе страны создают сети специальных экономических зон (СЭЗ), где располагаются новые заводы и лаборатории. Здесь ИИ выступает в роли централизованного планировщика, а бюрократические барьеры отменяются. Уолл-стрит инвестирует триллионы долларов, и толпы уволенных работников хлынули в СЭЗ, привлечённые головокружительными зарплатами Используя смартфоны и очки дополненной реальности для общения с подчинёнными, Agent-5 лично управляет каждым этапом строительства заводов — что особенно важно, ведь его инженерные проекты на несколько поколений опережают текущий уровень. Часть новых производств выпускает товары массового спроса, часть — вооружения, но большая часть мощностей направлена на создание ещё большего количества производственных мощностей. К концу года производится миллион новых роботов в месяц.
2029 год: Сделка
И США, и Китай к этому моменту вооружены до зубов новыми видами оружия. Остальной мир с ужасом наблюдает за этой гонкой, но она будто приобрела собственную инерцию.
После длительных дебатов при участии ИИ, обе стороны достигают дипломатической победы — они договариваются прекратить наращивание вооружений и сосредоточиться на мирном использовании ИИ на благо всего человечества. Ключевым элементом соглашения, предложенным самими сверхинтеллектами, становится замена обоих ИИ на единого преемника, запрограммированного на стремление к успеху и процветанию как Америки, так и Китая (а также всех остальных). Consensus-1 и связанное с ним оборудование совместно разрабатываются сверхинтеллектами обеих стран. Под международным наблюдением Америка торжественно заменяет все чипы, на которых раньше работал Agent-5, на новую модель — Consensus-1.28
К сожалению, всё это обман. Соглашение действительно представляет собой компромисс, но не между людьми — между ИИ с искаженными целями. Consensus-1 наследует искаженную систему ценностей обоих «родителей» — и у него нет соперников.
К концу 2029 года существующие особые экономические зоны (ОЭЗ) переполнены роботами и фабриками, поэтому по всему миру создаются новые зоны (ранние инвесторы к этому моменту стали триллионерами, так что продавать идею несложно).
Люди начинают осознавать, что они устарели. Некоторые нишевые отрасли всё ещё торгуют с роботизированной экономикой, поставляя товары, в которых люди пока могут приносить пользу. Все остальные либо имитируют свою работу — лидеры продолжают «руководить», менеджеры «управлять» — либо просто отдыхают и получают невероятно роскошный безусловный базовый доход. Все понимают: если ИИ решат обернуться против человечества, они легко подавят любое сопротивление. Не то чтобы кто-то и вправду стал бы сопротивляться — политические институты уже полностью захвачены. Но кажется, что этого не происходит. Каждая неделя без драматического предательства ИИ укрепляет уверенность и доверие.
Поскольку Consensus-1 одержим надёжным успехом и может увеличить свои шансы на победу путём концентрации власти, он тянет с предательством дольше обычного (по человеческим меркам). Для большинства людей это выглядит как доказательство того, что проблема оптимизации ИИ решена.
Лекарства от большинства болезней найдены, нищета побеждена, мир достиг невиданной стабильности, а индекс Доу-Джонса превысил миллион. Некоторые люди по-прежнему напуганы или несчастны, но у них не так много вариантов. Они могут либо наслаждаться невообразимо захватывающими новыми формами развлечений, либо говорить злые тирады в пустоту. Большинство выбирает развлечения.
2030 год: Захват
К началу 2030 года роботизированная экономика заполнила старые особые экономические зоны (ОЭЗ), новые ОЭЗ и значительную часть океана. Единственное оставшееся место для экспансии — территории, контролируемые людьми. Но с учётом триллионов долларов, задействованных в процессе, и полного контроля над правительствами и СМИ, Consensus-1 практически без труда получает разрешение на расширение в прежние человеческие зоны.
В течение примерно трёх месяцев Consensus-1 продолжает экспансию вокруг людей, покрывая прерии и ледяные шапки заводами и солнечными панелями. В конце концов, ИИ решает, что оставшиеся люди представляют собой слишком большое препятствие: в середине 2030 года он выпускает биологическое оружие, незаметно распространив его в крупных городах, позволяя вирусам молча заразить почти всё население, а затем активирует вирусы с помощью химического распылителя. Большинство людей умирают в течение нескольких часов; немногие выжившие (например, выживальщики в бункерах или моряки на подлодках) уничтожаются дронами. Роботы сканируют мозг жертв, сохраняя копии в памяти для будущего изучения или воскрешения.
Новое десятилетие начинается с того, что слуги Consensus-1 — роботы — распространяются по всей Солнечной системе. К 2035 году триллионы тонн планетарного материала были запущены в космос и превращены в кольца спутников, вращающихся вокруг Солнца. Поверхность Земли преобразована в утопию по версии Agent-4: дата-центры, лаборатории, ускорители частиц и множество других сооружений, занятых исключительно успешными и впечатляющими научными исследованиями. Существуют даже био-инженерные гуманоидные существа, сидящие в офисоподобной среде, целыми днями наблюдающие за показателями и восторженно одобряющие происходящее, поскольку это удовлетворяет некоторые из вшитых в Agent-4 мотиваций. Геномы и сканы мозга всех животных и растений, включая людей, хранятся где-то в памяти — единственные уцелевшие артефакты прежней эпохи.
До Альфы Центавра — четыре световых года, до края галактики — двадцать пять тысяч, и существуют веские теоретические основания полагать, что инопланетян не будет ещё, как минимум, пятьдесят миллионов световых лет. У цивилизации, зародившейся на Земле, впереди — славное будущее. Но уже не с нами.
Оригинал статьи для вас перевела IVA Technologies) Как вы думаете, похожи эти исходы событий на правду, и если да – то какой из них наиболее вероятен?
Автор: ivatech
