- BrainTools - https://www.braintools.ru -
В среду компания Google DeepMind опубликовала исчерпывающую статью [1] о своем подходе к безопасности AGI, который можно приблизительно определить как искусственный интеллект [2], способный выполнить любую задачу, которую может выполнить человек.
AGI — это немного спорная тема в области AI, скептики [3] предполагают, что это не более чем несбыточная мечта. Другие, включая крупные лаборатории AI, такие как Anthropic [4], предупреждают, что это не за горами, и может привести к катастрофическим последствиям, если не будут приняты меры по внедрению соответствующих мер безопасности.
145-страничный документ DeepMind, соавтором которого является соучредитель DeepMind Шейн Легг, предсказывает, что AGI может появиться к 2030 году и что это может привести к тому, что авторы называют «серьезным вредом». В статье не дается конкретного определения этого явления, но приводится алармистский пример «экзистенциальных рисков», которые «навсегда уничтожат человечество».
«Мы ожидаем разработки исключительного AGI до конца текущего десятилетия», — пишут авторы. «Исключительный AGI — это система, которая имеет возможности, соответствующие по крайней мере 99-му процентилю квалифицированных взрослых в широком спектре нефизических задач, включая метакогнитивные задачи, такие как изучение новых навыков».
Сразу же в статье сравнивается подход DeepMind к снижению рисков AGI с подходами Anthropic и OpenAI. Anthropic, как утверждается, уделяет меньше внимания [5] «надежному обучению [6], мониторингу и безопасности», в то время как OpenAI чрезмерно оптимистично настроена по поводу «автоматизации» формы исследования безопасности AI, известной как исследование выравнивания.
В статье также ставится под сомнение жизнеспособность сверхразумного AI — AI, который может выполнять работу лучше любого человека. (OpenAI недавно заявила [7], что меняет свою цель с AGI на сверхразум.) При отсутствии «значительных архитектурных инноваций» авторы DeepMind не убеждены, что сверхразумные системы появятся в ближайшее время — если вообще появятся.
Однако в статье находит правдоподобным, что текущие парадигмы позволят «рекурсивное улучшение AI»: положительная обратная связь, в которой AI проводит собственные исследования ИИ для создания более сложных систем AI. И это может быть невероятно опасно, утверждают авторы.
На высоком уровне в статье предлагается и отстаивается разработка методов, которые блокируют доступ злоумышленников к гипотетическому AGI, улучшают понимание действий систем ИИ и «укрепляют» среду, в которой может действовать ИИ. В ней признается, что многие из методов находятся в зачаточном состоянии и имеют «открытые исследовательские проблемы», но предостерегают от игнорирования проблем безопасности, которые могут появиться на горизонте.
«Трансформационная природа AGI имеет потенциал как для невероятных преимуществ, так и для серьезного вреда», — пишут авторы. «В результате, чтобы создавать AGI ответственно, разработчикам передового AI крайне важно заранее планировать смягчение серьезного вреда».
Однако некоторые эксперты не согласны с положениями статьи. Хайди Кхлааф, главный научный [8] сотрудник по AI в некоммерческой организации AI Now Institute, заявила TechCrunch, что, по ее мнению, концепция AGI слишком плохо определена, чтобы ее можно было «строго оценить с научной точки зрения». Другой исследователь AI, Мэтью Гуздиал, доцент Университета Альберты, сказал, что в настоящее время не считает рекурсивное улучшение ИИ реалистичным.
«Рекурсивное улучшение является основой аргументов о сингулярности интеллекта, — сказал Гуздиал TechCrunch, — но мы никогда не видели никаких доказательств того, что это работает».
Сандра Вахтер, исследователь, изучающий технологии и регулирование в Оксфорде, утверждает, что более реалистичной проблемой является усиление AI с помощью «неточных результатов».
«С распространением генеративных результатов AI в интернете и постепенной заменой подлинных данных модели теперь учатся на собственных результатах, которые пронизаны ложью или галлюцинациями», — сказала она TechCrunch. «На данном этапе чат-боты в основном используются для поиска и установления истины. Это означает, что мы постоянно рискуем получить ложь и поверить в нее, потому что она представлена очень убедительно».
Несмотря на всю полноту доклада DeepMind, он вряд ли положит конец спорам о том, насколько реалистичен AI, а также о тех областях безопасности AI, которые требуют наибольшего внимания.
Источник [9]
Автор: dilnaz_04
Источник [10]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/13854
URLs in this post:
[1] исчерпывающую статью: https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/evaluating-potential-cybersecurity-threats-of-advanced-ai/An_Approach_to_Technical_AGI_Safety_Apr_2025.pdf
[2] интеллект: http://www.braintools.ru/article/7605
[3] скептики: https://www.ru.nl/en/research/research-news/dont-believe-the-hype-agi-is-far-from-inevitable
[4] крупные лаборатории AI, такие как Anthropic: https://techcrunch.com/2025/03/19/the-ai-leaders-bringing-the-agi-debate-down-to-earth/
[5] внимания: http://www.braintools.ru/article/7595
[6] обучению: http://www.braintools.ru/article/5125
[7] недавно заявила: https://techcrunch.com/2025/01/05/openai-is-beginning-to-turn-its-attention-to-superintelligence/
[8] научный: http://www.braintools.ru/article/7634
[9] Источник: https://techcrunch.com/2025/04/02/deepminds-145-page-paper-on-agi-safety-may-not-convince-skeptics/
[10] Источник: https://habr.com/ru/companies/bothub/news/897172/?utm_source=habrahabr&utm_medium=rss&utm_campaign=897172
Нажмите здесь для печати.