Бенчмарки Llama-4, предположительно — скам на самом высоком уровне
Буквально пару дней назад, комада Llama сообщила о появлении трех новых нейронок под общим зонтиком Llama-4: быстрый Scout с контекстом 10 миллионов токенов. Медленный Maverick с контекстом 1 миллион, но 128 экспертами под капотом. И гигантский Behemoth, который использовался как учитель для предыдущих двух. 10 миллионов токенов и нахаляву — это, мягко говоря, дофига. Можно закрыть глаза и представить, как где-то там в далеком Сан-Франциско, разработчики Gemini Pro начинают искать себе новую работу сантехниками, электриками и ассенизаторами.Но вот прошла пара дней, и Царь оказался ненастоящий.
Нейронки пошли не туда
Долго пытался сформулировать, почему мне нравится Claude и Gemini и умение рассуждать ChatGPT.И наоборот, не нравится (точнее, кажется по большей части бесполезной на практике) умение ChatGPT написать точный, с первого раза работоспособный код. Или там, решить задачки из олимпиады по математике, выдавая потрясающий балл на экзаменах в MIT.Интуиция не врёт. (Юдковский перевернулся в гробу)
