Hermes 4.3 36B — модель Nous Research на 36 млрд параметров, рассчитанная на свободный диалог и ролевые сценарии. По описанию разработчиков она почти не отказывает. Шаблон запускает её в формате GGUF на видеокарте с 32 ГБ, например RTX 5090: чат открывается в браузере, а API работает по защищённой ссылке.
Коротко
Hermes 4.3 36B работает на видеокартах от 32 ГБ. Самая доступная подходящая сейчас — Tesla V100 32 ГБ от 23 ₽ в час, оплата по минутам.
Обновлено 13 октября 2026 г.
Модели нужна видеокарта на 32 ГБ: файл GGUF в формате Q4_K_M весит около 22 ГБ, а остальное уходит на контекст и буферы. Подойдёт RTX 5090 с 32 ГБ. Для длинных сессий с большим контекстом запас даст RTX A6000 с 48 ГБ.
Цены и наличие берутся из живого каталога и обновляются автоматически.
Hermes хорошо ведёт диалог и держит роль, если персонаж описан заранее: имя, характер, манера речи, факты о мире. Она спокойно говорит на открытые темы, обсуждает книги и идеи. Для кода и аналитики обычно удобнее Qwen 3.8, а для ролевых сцен и свободного разговора выбирайте Hermes.
GGUF — формат сжатой модели. Квантование Q4_K_M хранит веса примерно в 4–5 битах на параметр вместо 16, поэтому 36 млрд параметров умещаются в файл около 22 ГБ. Качество ответов при этом немного ниже полной версии, зато памяти нужно намного меньше. Как считать память под модель, см. гайд о видеопамяти для LLM.
Загрузка с Hugging Face занимает несколько минут при первом старте. Затем модель остаётся в памяти, пока сервер работает.
Персонажа задайте системным сообщением: в API это первое сообщение с ролью system, в чате — поле системного промпта. Пример запроса с персонажем и репликой пользователя:
curl "https://<id>-11434.run.gpu.nz/v1/chat/completions" \
-H "Authorization: Bearer <токен>" \
-H "Content-Type: application/json" \
-d '{"model": "hf.co/NousResearch/Hermes-4.3-36B-GGUF:Q4_K_M", "messages": [{"role": "system", "content": "Ты Лея, капитан грузового корабля. Говоришь коротко и с иронией."}, {"role": "user", "content": "Что будем делать с пиратами у пояса астероидов?"}]}'Контекст — 16 384 токена. Со временем старые реплики перестают учитываться, поэтому важные детали персонажа повторяйте в системном сообщении. Если к чату одновременно обращаются несколько человек, посмотрите шаблон vLLM.