Maverick от Meta* на LM Arena: различия между экспериментальной версией и версией для разработчиков

Одна из новых флагманских моделей ИИ ^[1], выпущенных Meta в субботу, Maverick, занимает второе место на LM Arena ^[2] — тесте, в котором люди-эксперты сравнивают результаты работы моделей и выбирают ту, которая им больше нравится. Но, похоже, версия Maverick, которую Meta использовала на LM Arena, отличается от версии, широко доступной разработчикам.

Как несколько ^[3] исследователей ^[4] искусственного интеллекта ^[5] отметили в X, Meta в своём объявлении указала, что Maverick на LM Arena — это «экспериментальная версия чата». На официальном сайте Llama ^[6], тем временем, указано, что тестирование LM Arena от Meta проводилось с использованием «Llama 4 Maverick, оптимизированного для общения».

Как уже писали ранее ^[7], по разным причинам LM Arena никогда не была самым надёжным показателем эффективности модели ИИ. Но компании, занимающиеся ИИ, как правило, не настраивали свои модели так, чтобы они лучше справлялись с LM Arena, — по крайней мере, они этого не признавали.

Проблема с адаптацией модели к эталонному тесту, её сокрытием, а затем выпуском «ванильного» варианта той же модели заключается в том, что разработчикам сложно предсказать, насколько хорошо модель будет работать в конкретных условиях. Это также вводит в заблуждение. В идеале эталонный тест, каким бы несовершенным он ни был ^[8], даёт представление о сильных и слабых сторонах одной модели в целом ряде задач.

Действительно, исследователи из X заметили значительные ^[9] различия в поведении ^[10] общедоступной версии Maverick по сравнению с моделью, размещённой на LM Arena. В версии LM Arena, похоже, используется много эмодзи, и ответы даются невероятно пространные.

*Meta и её продукты (Instagram, Facebook) запрещены на территории Российской Федерации

Источник ^[11]