Cloud Native LVM: как автоматизировать поиск и разметку локальных дисков в Kubernetes
Всем привет, меня зовут Александр Зимин, я руковожу разработкой подсистемы хранения данных в Deckhouse. Сегодня хочу поговорить о хранении данных на локальных дисках в Kubernetes и поделиться тем, как мы автоматизируем их подготовку для администраторов и пользователей.Обычно решения, которые работают с локальными дисками в K8s, не предоставляют нативных инструментов для их поиска и разметки. Мы закрыли этот пробел и создали Cloud Native LVM. В статье я расскажу, как этот инструмент работает и как мы обошли подводные камни в процессе его разработки. Это статья по мотивам доклада
Успех секрета: как доставлять секреты в приложения безопасно и без головной боли
Секреты — это то, без чего не живёт ни одно приложение: токены, пароли, ключи. Хранить их опасно, доставлять — ещё опаснее. Мы во «Фланте» тоже когда-то верили в HashiCorp Vault, но быстро поняли, что с ним не всё так гладко. Рассказываем, как мы переосмыслили подход к secret management в своём продукте Deckhouse Stronghold, что придумали, чтобы не потерять безопасность на delivery-этапе, и какие риски всё ещё остаются, даже если сделать всё «правильно».Это статья по мотивам доклада
Технологическая эволюция Mercado Libre: от монолита к мультиоблачной платформе
Перевели для вас цикл статей об эволюции технологической платформы Mercado Libre — от монолитной архитектуры начала 2000-х к современной мультиоблачной платформе Fury, которая обеспечивает разработчикам удобную, масштабируемую и безопасную среду для создания, развёртывания и управления приложениями. В этой — первой — части описывается переход компании от единой базы и медленных релизов к микросервисам и облачным технологиям, что позволило значительно ускорить разработку и повысить надёжность систем. Передаём слово автору — ведущему техническому руководителю Mercado Libre Хулиано Мартинсу (Juliano Martins).
60 тысяч подписчиков у хаброблога «Фланта»: собрали лучшие материалы за год
Год назад, в прошлом июне, мы писали о том, что аудитория нашего блога на Хабре достигла 50 тысяч подписчиков. А сегодня счётчик преодолел отметку уже в 60 тысяч! Спасибо, что читаете и поддерживаете нас.Мы занимаемся DevOps и Kubernetes уже 17 лет: создаём и поддерживаем инфраструктуру любого размера, разрабатываем продукты Deckhouse, которые помогают упростить разработку, доставку и работу приложений, а также консультируем другие компании по вопросам DevOps и технологиям. И в блоге мы делимся опытом и лучшими практиками в этих областях.
Распределённый инференс и шардирование LLM. Часть 3: настройка авторизации и интеграция с Open WebUI
Мы с вами подобрались к заключительной части статьи-инструкции об организации распределённого инференса и шардирования LLM в домашних условиях. Мы уже запустили модель Gemma 3 и протестировали API, самое время настроить авторизацию и удобный веб-интерфейс для взаимодействия с нашей моделью. Им станет бесплатный Open WebUI. В конце статьи попросим домашнюю LLM подвести итоги всей проделанной работы, а также поговорим о планах по развитию проекта.
Распределённый инференс и шардирование LLM. Часть 2: скрипт vLLM, Ray Serve для вывода API и настройка KubeRay Cluster
Продолжаем разбираться с тем, как можно эффективно работать с большими языковыми моделями, используя доступное оборудование.В этой части мы перейдём к организации распределённого инференса с помощью vLLM и обеспечим доступ к нему через Ray Serve. А ещё выясним, как запустить модель Gemma 3 в Ray-кластере и как проверить работу нашего OpenAI-совместимого эндпойнта с JWT-аутентификацией.
Распределённый инференс и шардирование LLM. Часть 1: настройка GPU, проброс в Proxmox и настройка Kubernetes
Привет, Хабр! Меня зовут Александр Подмосковный, я работаю в «Московском кредитном банке» и, как многие, увлёкся темой искусственного интеллекта. Когда модель DeepSeek R1 стала широко обсуждаться в сообществе, я заинтересовался, можно ли эффективно использовать её и другие крупные модели в домашних условиях, не прибегая к дорогостоящим облачным сервисам. Так как DevOps и инфраструктурой я увлекаюсь уже несколько лет, за это время у меня постепенно сформировалась домашняя лаборатория, на которой я и решил проверить эту идею.
DUC meetup #1: приручаем Cilium и строим домашний LLM-кластер на Deckhouse
20 мая пройдёт наш первый инженерный митап Deckhouse User Community. В программе — доклады про работу Cilium и распределённый инференс LLM в домашних условиях с использованием K8s. После них проведём открытую дискуссию с инженерами Deckhouse и «Московского кредитного банка». Присоединяйтесь, регистрация уже открыта.ПрограммаCilium: всё, о чём вы догадывались, но боялись спросить
