Stable Diffusion WebUI Forge: Шаг 2. Установка модели FLUX.1

После установки системы Stable Diffusion WebUI Forge, которая обеспечит нам удобный интерфейс и работу с большим числом различных функций и параметров, нам теперь необходимо скачать файл нужной нам версии модели FLUX.1, которая бы быстро и качественно работала на нашем компьютере.

Напомню вам, что есть три основные версии модели, созданные разработчиками Black Forest Lab:

• FLUX.1 [pro] – самая мощная версия реализация коммерческой модели, доступная к использованию только через API у партнеров компании Black Forest Lab или в индивидуальном порядке.

• FLUX.1 [dev] – немного облегченный вариант первой модели не для коммерческого использования. Варианты реализации модели можно найти на сайте huggingface.co ^[1]. Она может быть использована на локальных компьютерах.

Сайт с моделью от разработчика: https://huggingface.co/black-forest-labs/FLUX.1-dev ^[2].

• FLUX.1 [schnell] – самая быстрая реализация модели с открытым исходным кодом, которая так и называется: «быстрая, шнель / нем. schnell». Она предназначена для использования на локальных компьютерах. Исходный код можно найти на сайте GitHub. Варианты реализации модели можно найти сайте huggingface.co ^[1].

Сайт с моделью от разработчика: https://huggingface.co/black-forest-labs/FLUX.1-schnell ^[3].  

Несомненно, нужно начинать свою работу с установки и тестирования той из них, которая будет соответствовать производительности вашего компьютера и будет создавать изображения максимального качества для вас.

На самом деле, версий модели FLUX от сторонних разработчиков уже достаточно много.

Но для того, чтобы нам быстро перейти к от теории к практике, мы возьмем за основу уже подготовленные модели, которые называются «nf4-модели».

Nf4-модели – это полноценные FLUX-модели, которые не требуют установки дополнительных компонент для Stable Diffusion WebUI Forge и помогают нам создавать очень красивые изображения. Они отличаются от стандартных моделей FLUX используемым в них методом nf4-квантования (о чем скажу чуть позже), меньшим размером исходного файла, что хорошо для менее производительных видеокарт.

Существует несколько версий уже подготовленных файлов моделей FLUX.1 [dev] и FLUX.1 [schnell] от разных разработчиков. Рассмотрим некоторые из них, которые наиболее стабильно работают (от разработчиков silveroxides и lllyasviel).

Готовый файл самой быстрой модели FLUX.1 [schnell] для не очень мощных компьютеров с видеокартами предыдущих поколений (например, как у меня NVIDIA GTX 980 с 4 Гбайтами видеопамяти) называется flux1-schnell-bnb-nf4.safetensors. Я протестировал работу этого файла, и он показал себя очень хорошо при создании различных изображений.

Скачать файл можно по следующей ссылке: https://huggingface.co/silveroxides/flux1-nf4-weights/tree/main ^[4].

Если у вас видеокарта серии NVIDIA GTX 10XX/20XX или более новая, то вам необходимо скачать следующий файл модели flux1-dev-bnb-nf4-v2.safetensors по следующей ссылке: https://huggingface.co/lllyasviel/flux1-dev-bnb-nf4/tree/main ^[5].

По заявлению разработчика, модель второй версии flux1-dev-bnb-nf4-v2.safetensors работает быстрее, но она чуть больше по размеру файла.  

Если у вас видеокарта серии NVIDIA RTX 30xx/40xx, то вы можете скачать файл модели flux1-dev-fp8.safetensors по следующей ссылке:

https://huggingface.co/lllyasviel/flux1_dev/blob/main/flux1-dev-fp8.safetensors ^[6].

Если вы обратите внимание ^[7], файл этой реализации модели значительно больше остальных по своему размеру, да и как показывает практика flux1-dev-bnb-nf4-v2.safetensors – это лучший выбор для учебы и творчества ^[8].

Таким образом, вы загрузили для себя один (или несколько) из необходимых фалов модели FLUX.1.

Модель FLUX.1 [schnell]:

• файл flux1-schnell-bnb-nf4.safetensors;

Модель FLUX.1 [dev]:

• файл flux1-dev-bnb-nf4-v2.safetensors;

• файл flux1-dev-bnb-nf4.safetensors);

• файл flux1-dev-fp8.safetensors.

Теперь загруженный файл (или файлы) модели нам нужно переместить в папку моделей «Stable-diffusion».

Например, эта папка у меня находится по следующему пути: D:Stable Diffusion WebUI ForgewebuimodelsStable-diffusion .

Открываем папку и копируем туда файл или все файлы моделей. 

Теперь мы с вами почти готовы к первому рабочему запуску программы Stable Diffusion WebUI Forge.

Наверное, вы обратили свое внимание на то, что в именах файлов написаны такие сокращения: «fp8» и «nf4». Оба сокращения имеют прямое отношение к методу обработки информации, который называется «квантование» (англ. quantization).

Квантование в информатике – это разбиение диапазона значений непрерывной или дискретной величины на конечное число интервалов. Существует также векторное квантование – разбиение пространства возможных значений векторной величины на конечное число областей[i] ^[9].

Квантование для сетей глубокого обучения ^[10] является важным шагом для ускорения вывода данных, а также для сокращения потребления ресурсов памяти ^[11] и потребления электроэнергии вашей видеокартой. Масштабированное 8-битное целочисленное квантование сохраняет точность модели, одновременно уменьшая ее размер. Это позволяет развертывать модель на устройствах с меньшим объемом оперативной памяти, оставляя больше места для работы других алгоритмов и логики управления[ii] ^[12], [iii] ^[13].

Говоря простым языком, модель «nf4» должна работать быстрее «fp8», но при условии ее аппаратной поддержки вашей видеокартой[iv] ^[14]. Как я понимаю, это напрямую зависит от версии драйвера CUDA (Compute Unified Device Architecture), которую поддерживает ваша видеокарта, и объема оперативной памяти видеокарты.

Забегу немного вперед и скажу сразу, что мне удалось запустить на своем компьютере с видеокартой NVIDIA GTX 980 с 4 Гбайтами видеопамяти следующие модели, которые при генерации изображения размером 512 на 512 показали следующие результаты:

• flux1-schnell-bnb-nf4.safetensors – на создание изображения уходит в среднем 3 мин.

• flux1-dev-bnb-nf4.safetensors – на создание изображения уходит в среднем 6 мин.

• flux1-dev-bnb-nf4-v2.safetensors – на создание изображения уходит в среднем от 3 до 6 мин.

• flux1-dev-fp8.safetensors – на создание изображения уходит в среднем от 3 до 7 мин.

Также я оттестировал работу всех моделей на видеокарте NVIDIA GTX 2060 с 12 Гбайтами видеопамяти и заметил интересную особенность, которая заключается в том, что первое изображение на этой карте создается приблизительно за такое же время, как и на видеокарте NVIDIA GTX 980 с 4 Гбайтами видеопамяти (в среднем три минуты). Но далее проявляется существенное отличие этих карт, которое заключается в том, что NVIDIA GTX 2060 все последующие изображения создает в несколько раз быстрее.

В связи с тем, что серии видеокарт NVIDIA RTX 30xx/40xx стоят достаточно дорого, видеокарта NVIDIA GTX 2060 с 12 Гбайтами видеопамяти является лучшим выбором по цене и качеству как для учебы, так и для игр.

Подробнее мы остановимся на этом моменте в следующей главе «Первый запуск и тест вариантов моделей FLUX».

[i] ^[15]. Квантование (Quantization). [Электронный ресурс] ural-test.ru ^[16] URL:https://ural-test.ru/help/articles/kvantovanie-quantization/ ^[17].

[ii] ^[18]. What Is Quantization? [Электронный ресурс] www.mathworks.com ^[19] URL: https://www.mathworks.com/discovery/quantization.html#:~ ^[20]: text=Quantization%20is%20the%20process%20of,and%20range%20of%20a%20value. (дата обращения: 11.09.2024).

[iii] ^[21]. Quantization. [Электронный ресурс] huggingface.co ^[1] URL:https://huggingface.co/docs/optimum/concept_guides/quantization ^[22] (дата обращения: 11.09.2024).

[iv] ^[23]. Теория по FLUX.1: как выбрать версию? BNBF4, GGUF или FP8 [Электронный ресурс] dzen.ru ^[24] URL:https://dzen.ru/a/ZtVxDcFGvAP5p24p ^[25] (дата обращения: 11.09.2024).