Ollama запускает языковые модели, а Open WebUI даёт им интерфейс как у ChatGPT. Шаблон поднимает оба сервиса на арендованной видеокарте: модель вы называете при запуске или скачиваете прямо в чате. Регистрация не нужна, ссылку защищает токен вашей аренды.
Коротко
Open WebUI + Ollama работает на видеокартах от 8 ГБ. Самая доступная подходящая сейчас — RTX 3060 12 ГБ от 7,20 ₽ в час, оплата по минутам.
Обновлено 13 октября 2026 г.
Большинство моделей в библиотеке Ollama идут в 4-битной квантизации Q4: веса занимают примерно 0,6 ГБ на миллиард параметров, а к ним добавляется память под контекст. Модель на 8 млрд параметров (8B) работает на 8–12 ГБ, например на RTX 3060 12 ГБ, а 14B комфортно работает на 16 ГБ, например на RTX 4080. Для 32B нужны 24 ГБ: RTX 4090 24 ГБ или RTX 3090. Для 70B берите карту на 48 ГБ (RTX A6000, L40S) или на 80 ГБ, например A100 80 ГБ.
Цены и наличие берутся из живого каталога и обновляются автоматически.
Веса модели должны целиком помещаться в видеопамять. Если их не хватает, часть слоёв уходит в оперативную память, и ответы заметно замедляются. Ориентиры для типичных моделей в квантизации Q4:
| Модель | Веса, ориентировочно | Видеопамять | Примеры карт |
|---|---|---|---|
| 8B, например qwen3:8b | около 5 ГБ | 8–12 ГБ | RTX 3060 12 ГБ |
| 14B, например qwen3:14b | около 9 ГБ | 16 ГБ | RTX 4080 16 ГБ |
| 32B, например qwen3:32b | около 20 ГБ | 24 ГБ | RTX 3090, RTX 4090 24 ГБ |
| 70B, например llama3.3:70b | около 43 ГБ | 48 ГБ и больше | RTX A6000, L40S 48 ГБ, A100 80 ГБ |
Контекст тоже занимает память. В этом шаблоне он по умолчанию равен 8192 токенам, а при длинных документах памяти нужно заметно больше. Расчёт подробно разобран в гайде сколько видеопамяти нужно для LLM.
Ollama отвечает в формате OpenAI по адресу с /v1. Ключ передаётся в заголовке Authorization, а имя модели в запросе должно совпадать с именем из списка моделей.
# модели, уже скачанные на сервере
curl https://<id>-11434.run.gpu.nz/v1/models \
-H "Authorization: Bearer <токен>"
# запрос к модели
curl https://<id>-11434.run.gpu.nz/v1/chat/completions \
-H "Authorization: Bearer <токен>" \
-H "Content-Type: application/json" \
-d '{"model": "qwen3:8b", "messages": [{"role": "user", "content": "Напиши функцию сортировки на Python"}]}'Для кода используйте ссылку Ollama API, а не адрес чата: адрес чата для программ не предназначен. Если нужны несколько одновременных запросов, посмотрите vLLM.
Пошаговые команды и типичные ошибки собраны в гайде Ollama и vLLM на арендованном GPU.