В поисках эмбеддинга личности или Как зарождается личность языковой модели
Пару месяцев назад я публиковал отчет об эксперименте по созданию языковой модели на базе модульной архитектуры с ядром на латентных представлениях. Данная статья является отчетом о новых аспектах этого эксперимента. Поэтому для тех, кто не в теме, совсем коротко: классические авторегрессивные LLM оперируют токенами, условно говоря думают на токенном уровне. В модульной архитектуре отдельно выделяется языковой интерфейс в виде энкодера и декодера, а само «думающее» ядро работает уже не с токенами напрямую, а с их сжатыми латентными представлениями. Кому интересно, вот ссылка на статью с предыдущим экспериментом:
Как я сделал новостной агрегатор с MCP‑сервером, AI‑чатом и Telegram‑ботом
28 февраля 2026 года я стоял у окна на 41-м этаже в JBR в Дубае и смотрел, как системы ПВО ОАЭ перехватывают иранские беспилотники прямо над моей головой. Полез в новости — в Google и Яндексе статья двухчасовой давности, Telegram‑каналы противоречат друг другу. Когда это происходит где‑то далеко, не придаёшь этому значения. Когда ты в центре событий, то хочешь знать оперативную информацию, желательно с push‑уведомлениями.
Эволюция Windows: от командной строки DOS до минимализма Windows 11
А с чего всё начиналось?Прежде чем мир узнал о «пуске», прозрачных окнах и плитках, существовала черная консоль с мигающим курсором. MS-DOS (Microsoft Disk Operating System) — это не просто «текстовая операционка», это программный слой, который определил архитектуру персональных компьютеров на десятилетия вперед.Глава 1: Сделка века: Как появилась MS-DOS
re!think it: Как я уместил корпоративный бэкенд в один промпт (История сборки)
ВведениеВсё началось с утреннего обсуждения того, как языковые модели вообще воспринимают вводный запрос. Насколько на самом деле важно качество описания промпта? Есть ли разница между большим объемом «популярных» слов (водой) и лаконичным запросом, состоящим из малого количества, но редких и "тяжелых" по смыслу терминов?
Халява уходит из разработки Агентов
Сегодня каждый норовит написать универсального агента и объявить это революцией. Рынок переполнен поделками вроде OpenClaw и его клонов: IronClaw, ZeroClaw, MicroClaw, NullClaw, GitClaw, AstrBot, GripAi, Moltis...Все идут одной и той же дорогой: используют готовые MCP и дают агентам shell-оболочку. Да, это легко собрать. Да, весело. Можно хайпануть в соцсетях. Но это тупиковый путь.В статье разберем все грехи status quo и предложим другой подход, более требовательный к компетенциям в области разработки ПО.Если вы не знаете, что такое агент, могу порекомендовать первый раздел Пишем агента на Kotlin: KOSMOS.
Слепое пятно LLM-разработки: контекст за пределами кода
Качество работы LLM — функция от качества контекста на входе. Это утверждение звучит банально, однако зачастую разработчики оптимизируют модель, выбирая между GPT, Claude, Gemini и прочими, и промпт, но не контекст в целом
Генерация изображений в Nano Banana: Промпты и гайд по использованию Gemini 3 Pro-Flash
Подробное руководство по работе с нейросетью Nano Banana. Разбираем эффективные промпты для Gemini 3 Pro и Flash Image, учимся делать сложное редактирование фото и запускать генерацию изображений с нуля. Бонусом 9 идей для креативных фотографий, инфографики и артов.
97 часов на одной RTX 4090: MoE с подключаемыми экспертами, самодистилляция и почему перплексия — плохая метрика
Меня зовут Борисов Павел, занимаюсь ML-исследованиями. Последние месяцы ковырялся с архитектурой MoE, где эксперты подключаются поверх замороженной модели. 22 эксперимента на одной RTX 4090, ниже разбор что получилось.Что за архитектураБерём предобученную языковую модель и замораживаем целиком, ни один вес не меняется. К каждому MLP-слою прикручиваем маленький обучаемый модуль, «эксперт». Сверху маршрутизатор — линейный слой на 37 тысяч параметров, который для каждого токена выбирает эксперта.
