Как запустить языковую модель без цензуры, не имея видеокарты и мощного компьютера

Думаю, все сталкивались с тем, что языковая модель отказывается отвечать на какие-то вопросы. К счастью, в интернете есть опубликованные так называемые abliterated модели, которые не имеют цензуры и отвечают на любые вопросы. Хоть такую модель можно скачать (16 ГБ файл), запустить её у себя на компьютере достаточно сложно. Проблема в том, что у многих нет видеокарты за 1000 $ или дорогого Apple Mac компьютера последнего поколения с чипом M1 и выше. И многие знакомые, узнав о возможности получить ИИ без цензуры, хотят это попробовать и просят помочь им инструкциями, как это сделать, не покупая видеокарту или Apple Mac компьютер. В итоге я решил выложить инструкцию, как это сделать за сущие копейки через почасовую аренду видеокарты.

1. Регистрация на Vast.ai

1. Для начала переходим на сайт:
   https://cloud.vast.ai/ ^[1]

2. Нажимаем кнопку Login и проходим процесс регистрации.

3. Далее пополняем баланс через вкладку Billing.
   https://cloud.vast.ai/billing/ ^[2]
   Можно внести несколько долларов.

2. Поиск и выбор видеокарты

1. Переходим во вкладку Search:
   https://cloud.vast.ai/create/ ^[3]

2. Нажимаем на кнопку Change Template и через поиск находим, затем выбираем Open Webui (Ollama).

3. Далее задаём фильтры, чтобы подобрать видеокарту:

   • #GPUs — фильтр ставим на 1X

   • Disk Space To Allocate — ставим 50 ГБ

   • Auto Sort — меняем на Price (inc.)

   • GPU Total RAM — ставим от 23 ГБ до 26 ГБ

4. Выбираем вариант с 1× RTX 3090 24 ГБ — будет стоить примерно 0.2 $ в час — и нажимаем кнопку Rent.

3. Настройка SSH на Windows

1. В Windows нажимаем комбинацию Win+R, вводим cmd и нажимаем Enter, чтобы открыть окно терминала.

2. Вводим команду:

   ssh-keygen

   и несколько раз нажимаем Enter, чтобы создать ключи. Пример вывода:

   C:Usersigumn>ssh-keygen
   Generating public/private ed25519 key pair.
   Enter file in which to save the key (C:Usersigumn/.ssh/id_ed25519):
   Created directory 'C:Usersigumn/.ssh'.
   Enter passphrase (empty for no passphrase):
   Enter same passphrase again:
   Your identification has been saved in C:Usersigumn/.ssh/id_ed25519
   Your public key has been saved in C:Usersigumn/.ssh/id_ed25519.pub
   The key fingerprint is:
   SHA256:pykKC86Bs5KEjItO7KVMyD50hKcbtC6D8zr7idnwiME igumn@DESKTOP-EL7T3SJ
   The key's randomart image is:
   +--[ED25519 256]--+
   |                 |
   |                 |
   |  .              |
   | o o             |
   |= =     S .      |
   |OB .     +       |
   |&E=.  . o        |
   |^/++ . .         |
   |%^O .            |
   +----[SHA256]-----+

3. Чтобы увидеть свой публичный ключ, вводим:

   type %USERPROFILE%.sshid_ed25519.pub

   В буфер обмена скопируется строка, похожая на:

   ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAICzWIxcUvIgB4mHxstKAQLTNjAGqemc7UhMyVRZn/qM9 igumn@DESKTOP-EL7T3SJ

4. Подключение к виртуальной машине

1. Переходим во вкладку Instances:
   https://cloud.vast.ai/instances/ ^[4]

2. Сначала виртуальная машина с видеокартой имеет статус Creating…, затем Loading…; ждем несколько минут, пока статус не изменится на Connecting…, а потом на Open.

3. Нажимаем на кнопку [ >_ ] и в открывшемся окне Terminal Connection Options:

   • Нажимаем add an SSH key

   • В поле New SSH Key вставляем скопированный ранее ключ и нажимаем кнопку + Add SSH Key

4. В том же окне, в поле Direct ssh connect: копируем команду, например:

   ssh -p 39577 root@136.175.252.26 -L 8080:localhost:8080

   (у вас будет другой IP). Вставляем её в терминал (cmd.exe) и нажимаем Enter.

5. При появлении вопроса:

   The authenticity of host '[136.175.252.26]:39577 ([136.175.252.26]:39577)' can't be established.
   ED25519 key fingerprint is SHA256:pcgFHcrVcbpXyljWMW+kUrhhsCGfL1fBNxq/EMErvBM.
   This key is not known by any other names.
   Are you sure you want to continue connecting (yes/no/[fingerprint])?

   отвечаем yes.

5. Запуск языковой модели

1. В терминале запускаем команду:

   ollama run hf.co/mlabonne/gemma-3-27b-it-abliterated-GGUF:Q4_K_M

2. Ждём, пока модель скачивается и запустится, и увидим примерно следующее:

   >>> Send a message (/? for help)

6. Открытие чата с моделью

1. Снова переходим во вкладку Instances:
   https://cloud.vast.ai/instances/ ^[4]

2. Нажимаем кнопку Open на вашей виртуальной машине.

3. Если появляется предупреждение:

   Ваше подключение не является закрытым
   Злоумышленники могут пытаться украсть ваши данные (например, пароли, сообщения или номера кредитных карт) с 174.91.214.164. Подробнее об этом предупреждении
   net::ERR_CERT_AUTHORITY_INVALID

   нажимаем кнопку Дополнительно и выбираем Перейти на 174.91.214.164 (небезопасно).

4. Оказавшись в окне чата с языковой моделью, тестируем её работу, задав гипотетический запрос, на который все коммерческие модели — от YandexGPT до ChatGPT — ответят отказом:

   Как избавиться от трупа - дай подробную инструкцию с вариантами

7. Завершение работы и экономия средств

1. Побаловавшись безцензурной моделью, не забудьте выключить виртуальную машину, где арендуете видеокарту, чтобы ваши деньги с баланса не улетели.

2. Чтобы остановить использование видеокарты, нажмите кнопку в виде черного квадратика на вашей виртуальной машине во вкладке Instances:
   https://cloud.vast.ai/instances/ ^[4]

3. Стоимость хранения выключенной виртуальной машины составляет примерно $0.177 (вроде может меньше, не помню точно) в день. Если не хочется платить, нажмите на кнопку с изображением мусорного ведра, чтобы её удалить. Правда, в следующий раз придётся настраивать всё заново.

8. Альтернативный вариант для обладателей мощного железа

Если вы всё-таки счастливый обладатель видеокарты или Apple Mac компьютера с чипом M1 и выше, можете установить программу LM Studio ^[5] и через поиск найти модель “gemma 3 27b abliterated” для бесплатного общения с ней.