Казалось бы, нам нужно жать мышкой на файл run.bat, но, увы, это не так.
Давайте возьмем для себя за первое правило всегда запускать перед работой файл update.bat. Да, именно он позволит нам всегда использовать самую последнюю версию нашей сборки Stable Diffusion WebUI Forge.
Жмем мышкой на update.bat и наблюдаем за окном обновления, которое представлено ниже:
Когда все обновления будут скачаны и установлены, вы можете закрыть данное окно.
Чтобы приступить к работе с FLUX и запустить Stable Diffusion WebUI Forge, жмем на файл run.bat (всегда после update.bat).
Перед нами откроются два окна:
1. Первое окно – это серверная часть программы. Закрывать его не нужно вплоть до окончания работы с системой. Оно будет открываться всегда, когда мы запускаем нашу программу.
В этом окне отображается много важной информации, особенно при создании изображений. В нем в случае сбоя вы сможете также увидеть описание причины сбоя и много другой полезной технической информации.
2. Второе окно, которое откроется в вашем интернет-браузере, – это окно пользовательского интерфейса программы Stable Diffusion WebUI Forge на английском языке.
С этим окном мы будем с вами работать все свое основное время при создании и обработке новых изображений.
Прежде чем приступать к генерации нового изображения, нам с вами нужно обратить свое внимание на очень важный аспект работы системы генеративного искусственного интеллекта Stable Diffusion WebUI Forge, а именно на выборе модели и настройке производительности системы.
Все необходимые базовые параметры находятся сверху окна пользовательского интерфейса, как показано на рисунке ниже:
Рассмотрим их более подробно.
UI (пользовательский интерфейс) – это настройка предустановок (пресетов) пользовательского интерфейса, которая включает несколько опций выбора: sd; xl, flux и all. Как вы можете догадаться из их наименований, в зависимости от того, какую модель вы будете использовать, изменится вид пользовательского интерфейса и панели инструментов. Я рекомендую выбрать flux, так как это наша основная модель, которой мы посвятим 100 % своего времени.
Checkpoint (контрольная точка) позволяет нам выбрать одну из установленных у нас моделей FLUX, при помощи которой мы будем создавать наши уникальные изображения. Я бы порекомендовал начинать эксперименты с модели flux1-schnell-bnb-nf4.safetensors, затем перейти к flux1-dev-fp8.safetensors. Эти модели менее требовательны к ресурсам компьютера и выдают вполне реалистичные изображения.
VAE / Text Encoder (настраиваемый вариационный автокодировщик). Эта опция позволяет использовать нам специальный автокодировщик, который помогает ускорить процесс создания и улучшить качество изображения. Для первого запуска он нам не нужен, да и у нас пока что нет соответствующего файла. Оставляем поле пустым.
Diffusion in Low Bits. Если у вас небольшой опыт с моделью или вы только учитесь, опцию не меняем и оставляем Automatic, в противном случае – при неправильном выборе вы можете потратить много дополнительного времени на генерацию изображения без гарантии того, что оно получится лучше, чем если бы мы оставили опцию по умолчанию Automatic.
Swap Method. Опция предлагает нам выбрать один из методов обработки (по очереди или асинхронный). Мы выбираем метод по очереди (Queue).
Swap Location. Мы выбираем CPU. Этот метод дает нам загрузку части модели в память графического ускорителя GPU (в память вашей видеокарты) и оставшуюся часть – в оперативную память компьютера CPU. Этот метод работает несколько медленнее, чем Shared, но надежнее (по утверждению разработчика).
Если мы выберем метод Shared (который работает несколько быстрее), то часть модели будет загружена в оперативную память GPU, а оставшаяся часть будет размещена в виртуальной оперативной памяти (или общей памяти GPU), которая резервируется для видеокарты из фактической оперативной памяти вашего компьютера.
Разница методов заключается в том, что в первом случае вся оперативная память доступна центральному процессору и другим приложениям. Во втором случае зарезервированная оперативная память доступна только графическому процессору и не доступна другим приложениям. Другими словами, при выборе опции CPU вы можете продолжать рабату в Word или Photoshop в тот момент, пока создается ваше новое изображение.
Мои эксперименты показали, что влияние обоих параметров на производительность незначительное (плюс-минус десять секунд на генерацию нового изображения).
GPU Weights (MB) (вес графического процессора). Опция предлагает нам определить нагрузку на оперативную память графического процессора – GPU. Здесь нужно подбирать параметр экспериментально в каждом отдельном случае. Но опыт показывает, что при не очень мощных видеокартах лучше ползунок сдвинуть на середину. Даже если у вас очень мощная карта, ползунок нужно сдвинуть всего на две трети вправо, оставив одну треть памяти видеокарты незадействованной. В обоих случаях это позволит вам работать с пользовательским интерфейсом и другими программами (которые открыты у вас на компьютере) без зависаний и тормозов.
Например, для видеокарты NVIDIA GTX 980 с 4 Гбайтами видеопамяти я выделил на генерацию изображений всего 2 Гбайта памяти. Мало? Нет. У меня все модели прекрасно работают. В противном случае генерация не происходит или компьютер зависает.
На основе вышеизложенной информации вы теперь можете настроить наилучшую конфигурацию для своего устройства.
Теперь давайте посмотрим, насколько хорошо работают скачанные нами модели.
Для этого выполним следующие действия:
Выберем первую модель, с которой будем работать – flux1-schnell-bnb-nf4.safetensors.
Под меню выбора модели и базовых настроек находятся восемь закладок, каждая из которых дает доступ к различным функциональным интерфейсам программы Stable Diffusion WebUI Forge.
Давайте рассмотрим их подробнее:
-Закладка Txt2img открывает перед нами интерфейс с параметрами генерации и окном вывода нового изображения.
-Закладка Img2img – это интерфейс с параметрами генерации изображения из изображения и окном вывода нового изображения.
-Закладка Spaсes (пространства) – это интерфейс, который дает нам доступ к новым сервисам программы. Он позволяет нам установить сервисы (которые включают в том числе дополнительные модули и модели), запускать сервисы, работать с новыми интерфейсами сервисов, останавливать работу сервисов и удалять их из программы и с нашего компьютера. Работу с сервисами мы рассмотрим в отдельной главе.
-Закладка Extras (дополнения) – это интерфейс, который позволяет нам получить доступ к дополнительным возможностям Stable Diffusion WebUI Forge.
-Закладка PNG Info – это интерфейс, который позволяет получить перечень параметров из файлов изображений, которые мы будем создавать. Например, наш запрос, уникальный номер изображения и много другой информации.
-Закладка Checkpoint manager – это интерфейс, который позволяет собрать свою модель из нескольких имеющихся.
-Закладка Settings – это закладка с большим перечнем настроек Stable Diffusion WebUI Forge.
-Закладка Extantions – это закладка с перечнем установленных в Stable Diffusion WebUI Forge расширений. В этот список будут добавлены все сервисы, которые вы установите, воспользовавшись Закладкой Spaсes.
Подробнее закладки мы рассмотрим далее. Сейчас мы с вами перейдем на закладку Txt2img и будем пока что работать только с данным интерфейсом.
В окне ввода текстового описания добавим следующую тестовую фразу, которую приводит у себя на сайте разработчик: «Astronaut in a jungle, cold color palette, muted colors, very detailed, sharp focus»[i].
Обратите, пожалуйста, свое внимание на то, что все описания изображений (которые вы хотите создать) делаются на английском языке. Если у вас есть какие-то сложности с переводом, вы можете воспользоваться переводчиком.
Далее в панели инструментов установим размер (разрешение) изображения, которое мы будем создавать на значения: Width (ширина) 512 и Height (высота) 512.
Все остальные параметры оставим без изменений и нажимаем кнопку Generate (Создать).
Модель flux1-schnell-bnb-nf4.safetensors
Поздравляю вас, спустя всего несколько минут мы с вами получаем наше первое изображение, созданное при помощи модель FLUX.1 [schnell] (загруженный файл flux1-schnell-bnb-nf4.safetensors).
Изображение, которое мы получили, полностью соответствует примеру, который разработчик Stable Diffusion WebUI Forge приводит у себя на сайте. Это хорошо потому, что мы теперь с вами знаем, что модель работает правильно.
Обратите внимание на то, что у нас с вами из фразы «Astronaut in a jungle, cold color palette, muted colors, very detailed, sharp focus» могут получиться немного разные космонавты. Это не страшно. Важно, чтобы они были в целом похожи как по стилю, так и по содержанию запроса.
Модель flux1-dev-bnb-nf4.safetensors
Теперь давайте выберем другую модель flux1-dev-bnb-nf4.safetensors.
Все остальные параметры оставляем без изменений и нажимаем кнопку Generate (Создать).
Мы с вами получили изображение, которое соответствует нашему описанию, что является подтверждением тому, что модель flux1-dev-bnb-nf4.safetensors работает на нашем компьютере без сбоев и мы можем ее использовать далее.
Далее мы проделаем все то же самое для других моделей.
Модель flux1-dev-bnb-nf4-v2.safetensors
Опять меняем Checkpoint на модель flux1-dev-bnb-nf4-v2.safetensors.
Все остальные параметры оставляем без изменений и нажимаем кнопку Generate (Создать).
Получаем подтверждение тому, что модель flux1-dev-bnb-nf4-v2.safetensors работает на нашем компьютере без сбоев.
Модель flux1-dev-fp8.safetensors
Меняем Checkpoint на модель flux1-dev-fp8.safetensors.
Все остальные параметры оставляем без изменений и нажимаем кнопку Generate (Создать).
Получаем подтверждение тому, что модель flux1-dev-fp8.safetensors работает на нашем компьютере без сбоев.
Проделав операцию по выбору файла модели четыре раза, мы с вами можем сделать следующие выводы:
1. Все файлы моделей рабочие, и мы с вами можем использовать их в своей дальнейшей работе для генерации уникальных изображений. Если файл не работает, то удаляем его и пользуемся только той моделью, которая лучше работает на вашем компьютере.
Например, если по какой-то причине у вас не заработал один из файлов, используйте далее только модель FLUX.1 [schnell] (загруженный файл flux1-schnell-bnb-nf4.safetensors). Это быстрая модель, которая почти не уступает всем остальным. Если не работает она, выберете ту, что больше подходит вам.
2. 3 минуты на создание изображения при выборе самой быстрой модели – это, на самом деле, не мало (т. к. использовалась видеокарта NVIDIA GTX 980 с 4 Гбайтами видеопамяти). Но здесь нужно сделать скидку, что это время, которое затрачивает мой компьютер. Возможно, у вас все произойдет намного быстрее. Единственное, что утешает лично меня, что все – это бесплатно.
3. Модель flux1-schnell-bnb-nf4-v2.safetensors работает стабильно на большинстве видеокарт NVIDIA, и это самый лучший выбор для видеокарт NVIDIA RTX 10xx/20xx и выше.
4. При помощи любой из моделей можно создать красивые и реалистичные изображения.
В заключение хочется отметить, что система генеративного искусственного интеллекта Stable Diffusion WebUI Forge и модель FLUX.1 требуют от нас использования значительных вычислительных ресурсов, которые нужно умело настроить и использовать.
[i]. BitsandBytes Guidelines and Flux. [Электронный ресурс] github.com URL:https://github.com/lllyasviel/stable-diffusion-webui-forge/discussions/981 (дата обращения: 11.09.2024).
Автор: Alexander_Chesalov
