Франсуа Шоле является соучредителем некоммерческой организации по разработке бенчмарков для AGI

Бывший инженер Google и влиятельный исследователь в области искусственного интеллекта ^[1] Франсуа Шолле ^[2] стал соучредителем некоммерческой организации, которая помогает разрабатывать тесты для проверки искусственного интеллекта на «человеческом уровне».

Некоммерческую организацию ARC Prize Foundation возглавит Грег Камрадт, бывший технический директор Salesforce и основатель студии по разработке AI-продуктов Leverage. Камрадт станет президентом и членом правления.

“Мы превращаемся … в настоящий некоммерческий фонд, который будет выступать в качестве полезной полярной звезды в области AGI, – написал  ^[3]Шолле в посте на веб-сайте некоммерческой организации.  – Мы пытаемся стимулировать ^[4] прогресс, способствуя сокращению базовых человеческих возможностей”.

Фонд ARC Prize расширит ARC-AGI ^[5] – тест, разработанный Шолле, для оценки того, может ли система AI эффективно приобретать новые навыки, выходящие за рамки данных, на которых она обучалась. Он состоит из задач, похожих на головоломки, в которых AI должен сгенерировать правильную «ответную» сетку из набора квадратов разных цветов. Задачи были разработаны таким образом, чтобы заставить AI адаптироваться к новым задачам, с которыми он раньше не сталкивался.

В 2019 году Шолле представил ARC-AGI, что расшифровывается как «Абстрактный и логический корпус для искусственного общего интеллекта». Многие системы искусственного интеллекта могут успешно сдавать математические олимпиады и находить потенциальные решения задач для аспирантов. Но до этого года самый эффективный AI мог решить лишь чуть менее трети задач из ARC-AGI.

«В отличие от большинства передовых тестов AI, мы не пытаемся измерить риск, связанный с AI, с помощью сверхчеловеческих экзаменационных вопросов, – написал Шолле в своём посте. – Будущие версии теста ARC-AGI будут направлены на сокращение разрыва между возможностями человека до нуля».

В июне прошлого года соучредитель Chollet и Zapier Майк Кнооп запустил конкурс ^[6] по созданию AI, способного превзойти ARC-AGI. Невыпущенная модель o3 ^[7] от OpenAI первой набрала необходимое количество баллов, но только при использовании невероятного количества вычислительной мощности.

Шолле ясно дал понять, что у ARC-AGI есть недостатки — многие модели смогли добиться высоких результатов с помощью грубой силы — и что он не верит, что o3 обладает интеллектом на уровне человека.

«Первые данные свидетельствуют о том, что предстоящий преемник ARC-AGI всё равно станет серьёзным испытанием для o3, потенциально снизив его оценку до менее чем 30% даже при высокой вычислительной мощности (в то время как умный человек всё равно сможет набрать более 95% без обучения ^[8]), – заявил Шолле в декабре прошлого года. – Вы поймёте, что искусственный общий интеллект уже здесь, когда создание задач, которые легко даются обычным людям, но сложны для AI, станет просто невозможным».

Кнооп говорит ^[9], что планируется запустить тест ARC-AGI второго поколения «в первом квартале» вместе с новым соревнованием. Некоммерческая организация также приступит к разработке третьего издания ARC-AGI.

Пока неясно, как фонд ARC Prize отреагирует на критику ^[10] в адрес Чолле за то, что он переоценил ARC-AGI как ориентир на пути к достижению СИИ. Само определение СИИ сейчас вызывает горячие споры, один из сотрудников OpenAI недавно заявил ^[11], что СИИ «уже» достигнут, если определять СИИ как AI, «превосходящий большинство людей в большинстве задач».

Интересно, что в декабре генеральный директор OpenAI Сэм Альтман заявил, что компания намерена сотрудничать с командой ARC-AGI для создания будущих эталонных моделей. В сегодняшнем объявлении Шолле не сообщил о возможных партнёрских отношениях.

Однако в серии постов ^[12] на X фонд ARC Prize заявил, что создаст «академическую сеть» для дальнейшего развития и оценки AGI, а также «коалицию партнёрских лабораторий по передовому искусственному интеллекту» для совместной работы над отраслевыми стандартами AGI.

Источник ^[13]