Sakana AI: искусственный интеллект успешно пишет научные работы, но остаются сложности с рецензированием

Научная статья, созданная с помощью системы искусственного интеллекта Sakana, прошла экспертную оценку на семинаре по искусственному интеллекту, после чего была отозвана. По данным компании, статья представляет собой первое полностью созданное с помощью AI исследование, прошедшее стандартный процесс рецензирования. Ранее, в августе прошлого года, Sakana AI представила предшественника системы.

Эксперимент проводился совместно с организаторами семинара Международной конференции по обучению репрезентациям (ICLR). Из трех представленных работ, созданных с помощью AI, одна достигла среднего рейтинга 6,33 — чуть выше порога принятия семинара.

В принятой статье под названием «Композиционная регуляризация: неожиданные препятствия в улучшении обобщения нейронных сетей» были рассмотрены методы регуляризации для нейронных сетей и приведены отрицательные результаты исследования.

AI Scientist-v2 самостоятельно разработал научную гипотезу, предложил эксперименты, написал код, провел исследование, проанализировал данные и написал рукопись. Люди-исследователи только предоставили тему и выбрали наиболее перспективные статьи для подачи.

Однако статья была принята только на уровне семинара, а не для основной конференции. Семинары обычно имеют гораздо более высокий уровень принятия — 60–70% по сравнению с основными конференциями — 20–30%. Sakana признала, что ни одна из трех статей не соответствовала бы внутренним критериям принятия на основной конференции ICLR в их нынешнем виде.

Согласно заранее установленному соглашению, статья была отозвана после завершения рецензирования. Это решение было частью экспериментального протокола, поскольку научное сообщество еще не разработало установленных стандартов для обработки рукописей, созданных с помощью AI.

В ходе внутреннего обзора исследователи обнаружили, что The AI ​​Scientist v2 иногда допускал ошибки в цитировании. Например, он неправильно приписывал «нейронную сеть на основе LSTM» Гудфеллоу (2016) вместо правильных авторов Хохрайтер и Шмидхубер (1997).

Эти проблемы показывают, что система Sakana по-прежнему демонстрирует общие ограничения современных языковых моделей.

Источник