gpu.
Насколько RTX 5090 лучше RTX 4090: реальные сравнительные тесты
Ее ждали достаточно долго, чтобы требовать от нее многоеВот мы и дождались выхода GeForce RTX 5090. Компания Nvidia наконец-то представила
ОЦЕНКА ПОТРЕБНОСТЕЙ В GPU ДЛЯ AGI МАСШТАБА МОЗГА
Определение того, на сколько GPU может приблизиться к вычислительной мощности человеческого мозга, связано с серьёзными техническими, теоретическими и архитектурными сложностями. Современные системы на базе GPU фундаментально отличаются от биологических нейронных сетей, поэтому любые разговоры о «GPU-эквивалентах» стоит воспринимать как приблизительные. Ниже приводится анализ и синтез ключевых идей и имеющихся неопределённостей. 1. ВЫЧИСЛИТЕЛЬНЫЕ ПОТРЕБНОСТИ ЧЕЛОВЕЧЕСКОГО МОЗГА
LLM в телекоме, ЦОД и на периферии [исследования]
Работа с большими языковыми моделями не только требует серьезных вычислительных ресурсов (например, облачных GPU), но и грамотного их использования. Зачастую инженерам приходится учитывать специфические особенности работы GPU-кластеров.
Специальная архитектура для дата-центров, которые обрабатывают AI-операции: в чем Rubin обходит Blackwell
Только недавно NVIDIA сообщила, что выпуск суперкомпьютера GB200 NVL72 на архитектуре Blackwell задерживается, а суперсервер GB300 выпустят в середине 2025 года. Получается, эти устройства выйдут практически в одно и то же время с архитектурой Rubin, хотя последняя позиционируется как некстген. В статье рассмотрим эти технологии и попробуем разобраться, куда компания так спешит с релизом новой платформы.Почему NVIDIA торопится с разработкой RubinАрхитектуру Rubin презентовали в 2024 году на конференции Computex вместе с версией Blackwell — о ней мы в декабре писали в блоге
NVIDIA выпустят архитектуру Rubin на полгода раньше, чем планировалось. А как же Blackwell?
Только недавно NVIDIA сообщила, что выпуск суперкомпьютера GB200 NVL72 на архитектуре Blackwell задерживается, а суперсервер GB300 выпустят в середине 2025 года. Получается, эти устройства выйдут практически в одно и то же время с архитектурой Rubin, хотя последняя позиционируется как некстген. В статье рассмотрим эти технологии и попробуем разобраться, куда компания так спешит с релизом новой платформы.Почему NVIDIA торопится с разработкой RubinАрхитектуру Rubin презентовали в 2024 году на конференции Computex вместе с версией Blackwell — о ней мы в декабре писали в блоге
Пять элементов Inference-платформы Selectel. Как мы сделали своего Аватара
Когда дело доходит до инференса ML-моделей, на ум приходит стандартный вариант — задеплоить Helm chart с Triton в Kubernetes. А что если добавить магии, как в «Аватаре»? Привет! Я — Антон, DevOps-инженер в команде Data/ML-продуктов Selectel. В статье я продолжу рассказывать о нашем новом продукте — Inference-платформе (для которой все еще доступен бесплатный двухнедельный тест). На этот раз рассмотрим пять новых фичей, которые и отличают ее от стандартного варианта. Прошу под кат — там тест работающих моделей без даунтайма, генерация котят голосом и много другой магии.
Как сократить расходы на инференс LLM? Разберемся на вебинаре
Привет, Хабр! Присоединяйтесь к вебинару 22 августа в 16:00 мск. Особенно ждем ML- и MLOps-инженеров, Data Scientists и NLP-инженеров, CTO и менеджеров ML-проектов. Поделимся опытом команды «Актион», которая сократила расходы на GPU на 60% и увеличила пропускную способность в 36 раз благодаря решению Compressa на инфраструктуре Selectel. Участникам дадим бесплатный двухнедельный тест LLM-платформы Compressa на инфраструктуре Selectel с GPU.Зарегистрироваться →ПрограммаПроблемы внешних API и open-source моделей «из коробки»Способы оптимизации LLM-моделей на своем сервере
