Mistral Small 3.1 и DeepCoder-14B-Preview появились в библиотеке Ollama
В библиотеке Ollama, популярной платформы для локального запуска LLM, сегодня появились две новые модели: Mistral Small 3.1 и DeepCoder-14B-Preview.
Docker теперь конкурент Ollama?
Ребята зарелизили новую крупную фичу, и, как по мне, это самая крупная механика с момента выхода dev containers, так как это показывает, насколько всё-таки AI всё глубже интегрируется в разработку.Docker Model Runner - фактически инструментарий для запуска моделей локально, и это буквально полный конкурент для Ollama, но, будем объективны, пока что ещё очень сырой.Фактически у нас с вами появилась новая команда:
Как подключить AFFiNE к Ollama?
Когда я пытался подключить AFFiNE к Ollama или к DeepSeek, я сразу столкнулся с большой проблемой: AFFiNE попросту не умеет работать с моделями, отличными от GPT. Вопрос: почему? Да потому что ребята просто захардкодили названия моделей в коде.
На сколько Ollama готова для Production?
Некоторое время назад я был в восторге от Ollama: простое скачивание моделей одной консольной командой, наличие SDK для NodeJS и Python, OpenAI-подобное API. Однако, так как отрасль рынка активно развивается, инструмент с каждым днем становится менее конкурентноспособнымПроблемы OllamaПункты ниже заставят вас задуматься рассмотреть другой инструмент запуска GGUF, например: LMStudio, LocalAI, KoboldCPP, vLLM или llama-server
Cohere Command — революция, которую мы пропустили
Исходный код, разобранный в данной статье, опубликован в этом репозиторииДлительный промежуток времени я искал модель, специально заточенную под вызов инструментов для внешних интегираций. Критерием поиска являлось минамальное колличество галлюцинаций при использовании железа с потребительского рынка
Дженсен Хуанг, как же так!? Тестируем NVIDIA GeForce RTX 5090 в ИИ задачах
Несмотря на огромный дефицит, нам удалось достать несколько карт NVIDIA GeForce RTX 5090 и протестировать. Не все так однозначно, как обещал глава Nvidia, но результаты достаточно интересные.ОборудованиеС оборудованием всё достаточно просто: мы взяли сервер с 4090, вынули эту видеокарту и поставили взамен 5090. Получили вот такую конфигурацию: Intel i9-14900k, 128 Гб, 2 TB NVMe SSD и, конечно же, GeForce RTX 5090 32 Гб.
Выбор локальной LLM модели. Публикация на сайт с чатом
Исходный код, разобранный в данной статье, опубликован в этом репозиторииДля решения некоторых задач бизнес-требованием является запуск LLM модели локально на своём железе. Это связано с SJW цензурой, например, стандартный датасет для обучения Llama не позволяет вести консультации, носящие медицинский характер: рекомендовать лекарства, обсуждать носящую интимный характер медицинскую тайну с ИИ-терапевтом (см побочки антидепрессантов)
Gemma3, новая опенсорсная модель от Google, уже доступна в Ollama
Модель Gemma 3 мультимодальная, то есть может обрабатывать текст и изображения, и имеет окно контекста размером 128 тысяч токенов с поддержкой более 140 языков.В Ollama она доступна в четырех вариантах с 1, 4, 12 и 27 миллиардами параметров и превосходно справляется с такими задачами, как ответы на вопросы, резюмирование и логическое мышление, в то время как их компактный дизайн позволяет развертывание на устройствах с ограниченными ресурсами.
Рассуждающая модель QwQ 32B доступна в Ollama
Мощная рассуждающая языковая модель с открытым исходным кодом QwQ-32B теперь доступна в Ollama. Это среднеразмерная модель с 32.5 миллиардами параметров из серии Qwen разработана для выполнения сложных задач и демонстрирует конкурентоспособное качество по сравнению с другими reasoning моделями, такими как DeepSeek-R1.
Подключаем AI к LibreOffice: плагин localwriter
Прошло всего несколько лет с момента взрыва популярности нейросетей, и уже практически невозможно найти профессию, связанную с работой за компьютером, которая не использовала бы AI для ускорения работы или улучшения её качества. Эта революция повлияла на всех, включая самых маленьких детей. Но, наигравшись с надиктовыванием указаний телефону и написанием запросов в браузере, хочется большего. И мы начинаем искать способы внедрить AI в программы, в которых работаем ежедневно. Программисты дают указания для написания кода через GitHub Copilot прямо из родной среды программирования. Появились плагины для MS Office, которые позволяют подключить AI. Но есть некоторые нюансы. Основная проблема этих плагинов не в том, что они стоят денег, а в том, что они отправляют почти все данные, с которыми вы работаете, на серверы провайдеров AI-услуг. По условиям использования провайдеры AI-сервисов открыто заявляют «Не отправляйте нам приватные данные, мы будем делать с ними, что захотим, включая передачу третьим лицам». И это полностью закрывает путь к использованию подобных сервисов там, где данные хоть сколько-нибудь чувствительны к утечке.
