Разработчики lmarena выпустили Search Arena — рейтинг нейросетевых поисковиков. Исследователи проанализировала более 7 тыс. пользовательских оценок и нашли лидера — языковую модель Gemini-2.5-Pro-Exp-03-25-Grounding от Google. Нейросеть от OpenAI занимает седьмое место в списке.
Для анализа функций нейросетевого поиска разработчики использовали слепые пользовательские оценки. Пользователям давали сравнить два результата поиска и предлагали выбрать лучший. При этом исследователи отмечают, что каждая языковая модель генерирует ответы в своём узнаваемом стиле. Это может деанонимизировать нейросеть, поэтому результаты поиска представляли в стандартизированном стиле, чтобы пользователи оценивали качество, а не подачу.
В финальном рейтинге первое место заняла нейросеть Gemini-2.5-Pro-Exp-03-25-Grounding, а за ней следует нейросеть Perplexity-Sonar-Reasoning-Pro (high). Далее в списке также идут модели от Perplexity. Нейросеть API-GPT-4o-Search-Preview занимает седьмое место.
Рейтинг нейросетевых поисков доступен на официальном сайте lmarena. Пользователи могут участвовать в голосовании за лучшую языковую модель, а компаниям предлагают добавить свои нейросети в систему. Датасет из 7 тыс. пользовательских оценок опубликовали на Hugging Face, а на Google Colab доступен код системы анализа результатов.
Автор: daniilshat
