ml.
Алгоритмы спекулятивного инференса LLM
ВведениеЗа последние годы качество LLM моделей сильно выросло, методы квантизации стали лучше, а видеокарты мощнее. Тем не менее качество генерации все еще напрямую зависит от размера весов и, как следствие, вычислительной сложности. Кроме того, генерация текста авторегрессионна - токен за токеном по одному, потому ее сложность зависит от размера контекста и количества генерируемых токенов.Но генерация текста не всегда имеет однородную сложность, так же как мы во многом мыслим идеями, а слова произносим “на автомате”. В статье обсудим алгоритмы, позволяющие использовать эту неоднородность для ускорения.
Почему OpenAI откладывает релиз ChatGPT-5? Все дело в недостатке данных
Новый проект OpenAI в области искусственного интеллекта, получивший кодовое название Orion, столкнулся с множеством проблем. Он отстает от графика и требует огромных затрат. Неясно, когда и будет ли он работать. Возможно, в мире недостаточно данных, чтобы сделать его достаточно умным.Дисклеймер: это вольный перевод
Опыт интеграции LLM и классического ML в пет-проект про поиск домашних животных
AI-решения сейчас повсеместно, но всё ещё есть места, где их нет. Например в вашем пет-проекте (возможно).В статье я поделюсь опытом, как легко интегрировать LLM и сразу получить от этого пользу, встраивая результаты от LLM в дальнейший пайплайн и закладывая фундамент под дальнейшее развитие.
Машинное обучение и резервы банка: опыт из ФинТеха
Оценка резервов кредитного портфеля — одна из задач, с которой я работал на протяжении продолжительного времени в своей практике. Это интересная и сложная задача, о которой я расскажу.В этой статье я расскажу о том, что такое резервы и зачем они необходимы банкам, как банки проводят оценку резервов, а также где в этой задаче можно использовать машинное обучение.Что такое резервы?Резервы, или ожидаемые кредитные потери (ECL
Пять элементов Inference-платформы Selectel. Как мы сделали своего Аватара
Когда дело доходит до инференса ML-моделей, на ум приходит стандартный вариант — задеплоить Helm chart с Triton в Kubernetes. А что если добавить магии, как в «Аватаре»? Привет! Я — Антон, DevOps-инженер в команде Data/ML-продуктов Selectel. В статье я продолжу рассказывать о нашем новом продукте — Inference-платформе (для которой все еще доступен бесплатный двухнедельный тест). На этот раз рассмотрим пять новых фичей, которые и отличают ее от стандартного варианта. Прошу под кат — там тест работающих моделей без даунтайма, генерация котят голосом и много другой магии.
Как предсказать будущее с помощью ML?
Привет, я Исламбек Темирбек, Senior Data Analyst в QIC digital hub. В этой статье я расскажу о машинном обучении и о том, как с его помощью можно предсказать будущее. Какую роль играет аналитика в создании и разработке онлайн-страховых и нестраховых сервисов и почему мы обратились именно к машинному обучению (ML)? В этой статье я расскажу о нашем опыте с моделью машинного обучения Time Series, служащей для предсказания временных рядов. Обсудим, как мы использовали Facebook Prophet для прогнозирования продления полисов, а также методологию и результаты, включая возможные ошибки.
Как устроена Лаборатория Инноваций СИБУРа и зачем она нужна
Создавать инновации быстро и гибко можно в стартапе или небольшой компании, но что, если ты промышленный гигант с более чем 25 заводами по всей стране, отлаженными процессами и бюджетированием, заточенными под беспрерывное производство, в котором каждая секунда на учёте и некогда экспериментировать? Как реализовывать смелые идеи в таких условиях?
Опыт Звука: как реализовать рекомендательную систему аудиокниг с использованием больших языковых моделей (LLM)
Всем привет! На связи Дмитрий Берестнев, Chief Data Scientist в HiFi-стриминге Звук
Эволюция архитектур нейросетей в компьютерном зрении: детекция объектов
Всем привет! Это завершающая статья в серии по эволюции архитектур нейронных сетей в компьютерном зрении. Она будет полезна тем, кто только погружается в сферу и пробует систематизировать свои знания, поэтому я осознанно не погружаю читателей в глубокие расчеты и вычисления. Посмотрим на R‑CNN, Fast R‑CNN, Faster R‑CNN, Mask R‑CNN, SSD, RetinaNet, EfficientDet, YOLO.
Интервью Forbes c Джоном Джампером из Google DeepMind о получении Нобелевской премии и будущем AlphaFold
В то время как языковые модели все лучше справляются с такими задачами, как написание стихов и электронных писем, Джампер надеется увидеть эру, когда ИИ будет решать проблемы, которые люди никогда не смогут решить самостоятельно.
