Энергоэффективность интеллекта

Мысль моя простая и на целую статью её не хватает, но на Хабре под постом комменты хуже создаются, а мне интересна обратная связь. Поэтому вот. Извиняюсь, если кого задело :)

Некоторые говорят, что ИИ скоро заменят программистов. Типа, LLM “мыслит” точно так же, как и человек, только шире и быстрее. Достаточно увеличить контекст до каких-нибудь внушительных размеров и LLM спокойно начнёт писать портянки кода и связывать их воедино. Вот только мой личный опыт ^[1] меня убеждает, что с размера текста в 4-5К токенов LLM начинает дико лажать с его модификацией. Он начинает его регенерировать заново. Не исправлять, а именно регенерировать – так ему проще.

Думаю, что проблему можно решить через закольцовывание рассуждений (Reasoning, Chain of Thought) – разбиение контекста на части, анализ, кластеризация и иерархическая структуризация об общего к частному и обратно.

Скорее всего, “кожаные“, включая меня, примерно так и решают задачи. Вот только вопрос, будет ли это выгодно чисто экономически с точки зрения ^[2] расхода энергии? Не окажется ли на уровне современных технологий, что LLM может написать программу уровня самой LLM, но для выработки ^[3] энергии для этого процесса придётся сжечь всё ископаемое топливо или выпарить Средиземное море для охлаждения реакторов АЭС?

“Кожаные“, между тем, справились с задачей лишь слегка подтаяв ледники Гренландии. При этом написав ещё кучу разных программ, ненужных и устаревших по большей части.

Вот и вопрос: а будет ли экономически эффективно заменять “кожаных” программистов “силиконовыми” чисто с точки зрения энергопотребления?

Ответы принимаются, как от “кожаных“, так и от “силиконовых” – лично я не дискриминирую мысли в зависимости от типа интеллекта ^[4], их породившие :)

Ну и небольшой опрос в конце. Спасибо всем, кто зашёл.