- BrainTools - https://www.braintools.ru -

145-страничный доклад DeepMind о безопасности AGI: о чем?

В среду компания Google DeepMind опубликовала исчерпывающую статью [1] о своем подходе к безопасности AGI, который можно приблизительно определить как искусственный интеллект [2], способный выполнить любую задачу, которую может выполнить человек.

145-страничный доклад DeepMind о безопасности AGI: о чем? - 1

AGI — это немного спорная тема в области AI, скептики [3] предполагают, что это не более чем несбыточная мечта. Другие, включая крупные лаборатории AI, такие как Anthropic [4], предупреждают, что это не за горами, и может привести к катастрофическим последствиям, если не будут приняты меры по внедрению соответствующих мер безопасности.

145-страничный документ DeepMind, соавтором которого является соучредитель DeepMind Шейн Легг, предсказывает, что AGI может появиться к 2030 году и что это может привести к тому, что авторы называют «серьезным вредом». В статье не дается конкретного определения этого явления, но приводится алармистский пример «экзистенциальных рисков», которые «навсегда уничтожат человечество».

«Мы ожидаем разработки исключительного AGI до конца текущего десятилетия», — пишут авторы. «Исключительный AGI — это система, которая имеет возможности, соответствующие по крайней мере 99-му процентилю квалифицированных взрослых в широком спектре нефизических задач, включая метакогнитивные задачи, такие как изучение новых навыков».

Сразу же в статье сравнивается подход DeepMind к снижению рисков AGI с подходами Anthropic и OpenAI. Anthropic, как утверждается, уделяет меньше внимания [5] «надежному обучению [6], мониторингу и безопасности», в то время как OpenAI чрезмерно оптимистично настроена по поводу «автоматизации» формы исследования безопасности AI, известной как исследование выравнивания.

В статье также ставится под сомнение жизнеспособность сверхразумного AI — AI, который может выполнять работу лучше любого человека. (OpenAI недавно заявила [7], что меняет свою цель с AGI на сверхразум.) При отсутствии «значительных архитектурных инноваций» авторы DeepMind не убеждены, что сверхразумные системы появятся в ближайшее время — если вообще появятся.

Однако в статье находит правдоподобным, что текущие парадигмы позволят «рекурсивное улучшение AI»: положительная обратная связь, в которой AI проводит собственные исследования ИИ для создания более сложных систем AI. И это может быть невероятно опасно, утверждают авторы.

На высоком уровне в статье предлагается и отстаивается разработка методов, которые блокируют доступ злоумышленников к гипотетическому AGI, улучшают понимание действий систем ИИ и «укрепляют» среду, в которой может действовать ИИ. В ней признается, что многие из методов находятся в зачаточном состоянии и имеют «открытые исследовательские проблемы», но предостерегают от игнорирования проблем безопасности, которые могут появиться на горизонте.

«Трансформационная природа AGI имеет потенциал как для невероятных преимуществ, так и для серьезного вреда», — пишут авторы. «В результате, чтобы создавать AGI ответственно, разработчикам передового AI крайне важно заранее планировать смягчение серьезного вреда».

Однако некоторые эксперты не согласны с положениями статьи. Хайди Кхлааф, главный научный [8] сотрудник по AI в некоммерческой организации AI Now Institute, заявила TechCrunch, что, по ее мнению, концепция AGI слишком плохо определена, чтобы ее можно было «строго оценить с научной точки зрения». Другой исследователь AI, Мэтью Гуздиал, доцент Университета Альберты, сказал, что в настоящее время не считает рекурсивное улучшение ИИ реалистичным.

«Рекурсивное улучшение является основой аргументов о сингулярности интеллекта, — сказал Гуздиал TechCrunch, — но мы никогда не видели никаких доказательств того, что это работает».

Сандра Вахтер, исследователь, изучающий технологии и регулирование в Оксфорде, утверждает, что более реалистичной проблемой является усиление AI с помощью «неточных результатов».

«С распространением генеративных результатов AI в интернете и постепенной заменой подлинных данных модели теперь учатся на собственных результатах, которые пронизаны ложью или галлюцинациями», — сказала она TechCrunch. «На данном этапе чат-боты в основном используются для поиска и установления истины. Это означает, что мы постоянно рискуем получить ложь и поверить в нее, потому что она представлена ​​очень убедительно».

Несмотря на всю полноту доклада DeepMind, он вряд ли положит конец спорам о том, насколько реалистичен AI, а также о тех областях безопасности AI, которые требуют наибольшего внимания.

Источник [9]

Автор: dilnaz_04

Источник [10]


Сайт-источник BrainTools: https://www.braintools.ru

Путь до страницы источника: https://www.braintools.ru/article/13854

URLs in this post:

[1] исчерпывающую статью: https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/evaluating-potential-cybersecurity-threats-of-advanced-ai/An_Approach_to_Technical_AGI_Safety_Apr_2025.pdf

[2] интеллект: http://www.braintools.ru/article/7605

[3] скептики: https://www.ru.nl/en/research/research-news/dont-believe-the-hype-agi-is-far-from-inevitable

[4] крупные лаборатории AI, такие как Anthropic: https://techcrunch.com/2025/03/19/the-ai-leaders-bringing-the-agi-debate-down-to-earth/

[5] внимания: http://www.braintools.ru/article/7595

[6] обучению: http://www.braintools.ru/article/5125

[7] недавно заявила: https://techcrunch.com/2025/01/05/openai-is-beginning-to-turn-its-attention-to-superintelligence/

[8] научный: http://www.braintools.ru/article/7634

[9] Источник: https://techcrunch.com/2025/04/02/deepminds-145-page-paper-on-agi-safety-may-not-convince-skeptics/

[10] Источник: https://habr.com/ru/companies/bothub/news/897172/?utm_source=habrahabr&utm_medium=rss&utm_campaign=897172

www.BrainTools.ru

Рейтинг@Mail.ru
Rambler's Top100