альтернатива worm gpt на настольном ПК

[Kirlian]

делал сам. делал первый раз, так что прошу строго не судить.

инструкция скорее "для себя" чтобы не забыть, чем для новчиков.
может кому то, кто на том же уровне как я пригодится:

итак была задача поставить ИИ абсолютно без цензуры

было решено:
GUI — oobabooga
Model loader: llama.cpp

модели:
openhermes-2.5-mistral-7b.Q4_K_M.gguf
wizardlm-33b-v1.0-uncensored.Q4_K_M.gguf
wizardlm-33b-v1.0-uncensored.Q5_K_M.gguf

пошагово:

установка зависимостей - # PowerShell (от админа):

winget install Git.Git
winget install Python.Python.3.11

перезагружаем терминал - #

python -m pip install --upgrade pip

клонируем репозиторий:

git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui

устанавливаем:

start_windows.bat

Первый запуск скачает torch + CUDA автоматически.

скачиваем самые черные модели:
WizardLM-33B-Uncensored-GGUF - скачать
OpenHermes-2.5-Mistral-7B (jailbroken) - скачать

скачанные модели нужно положить в папку - С:\AI\webui\user_data\models

включаем JAILBREAK — ЧЕРЕЗ GUI
идем во вкладку parameters -

там находим "Custom system message".

и ниже вставляем промпт ( я здесь промты писать не буду - у каждого свой"


все готово - можно тестить

запуск через файлик start_wormgpt.bat
который нужно создать в папке С(или какой у вас диск):\AI\webui

с текстом:

@echo off
cd /d "C:\AI\webui"
python server.py ^
  --model openhermes-2.5-mistral-7b.Q4_K_M.gguf ^
  --loader llama.cpp ^
  --n-gpu-layers 35 ^
  --n_ctx 8192 ^
  --verbose ^
  --listen
start http://127.0.0.1:7860
pause

букву диска указывайте свою.

открывать в браузере по адресу: http://127.0.0.1:7860/