vLLM — сервер для языковых моделей с API в формате OpenAI. Шаблон запускает его на арендованной видеокарте с 24 ГБ памяти: по умолчанию работает Qwen2.5 7B, а ключом служит токен вашей аренды. Первый запуск дольше, чем у Ollama: модель скачивается и компилируется, на это уходит 10–30 минут и больше.
Коротко
vLLM работает на видеокартах от 24 ГБ. Самая доступная подходящая сейчас — Tesla V100 32 ГБ от 23 ₽ в час, оплата по минутам.
Обновлено 13 октября 2026 г.
vLLM резервирует до 90 % видеопамяти карты под веса и кэш внимания, поэтому другие GPU-задачи рядом с ним обычно не запустить. Модель по умолчанию, Qwen2.5 7B, в 16 битах весит около 15 ГБ: берите карту на 24 ГБ, например RTX 4090 24 ГБ или RTX 3090. Для 32B в 16 битах нужны 80 ГБ, например A100 80 ГБ, а 32B в 4-битном AWQ уже помещается на RTX 5090 32 ГБ.
Для vLLM важна точность весов: модель в 16 битах занимает вдвое больше памяти, чем в 8-битной, и вчетверо больше, чем в 4-битной. Ориентиры для популярных размеров:
| Модель и точность | Веса, ориентировочно | Видеопамять | Примеры карт |
|---|---|---|---|
| 7B в 16 битах (по умолчанию) | около 15 ГБ | 24 ГБ | RTX 3090, RTX 4090 24 ГБ |
| 14B в 16 битах | около 30 ГБ | 48 ГБ | RTX A6000, L40S 48 ГБ |
| 32B в 16 битах | около 65 ГБ | 80 ГБ | A100 80 ГБ, H100 80 ГБ |
| 32B в 4 битах (AWQ) | около 20 ГБ | 32 ГБ | RTX 5090 32 ГБ |
Цены и наличие берутся из живого каталога и обновляются автоматически.
Шаблон запускает Qwen/Qwen2.5-7B-Instruct. Веса скачиваются с Hugging Face, затем модель компилируется под вашу карту. Ход запуска пишется в файл /var/log/vllm.log: посмотрите его по SSH командой tail -f.
Чтобы сменить модель, подключитесь по SSH, остановите процесс и запустите сервер заново с нужным --model. Токен передавайте в --api-key явно, а не через переменную окружения: если её нет в сессии, сервер стартует без ключа и API станет открытым. Например, Qwen/Qwen2.5-7B-Instruct-AWQ занимает около 5 ГБ и уверенно помещается на карту на 24 ГБ.
pkill -f api_server
nohup python3 -m vllm.entrypoints.openai.api_server --host 0.0.0.0 --port 8000 \
--model <репозиторий Hugging Face> --max-model-len 8192 \
--api-key <токен аренды> > /var/log/vllm.log 2>&1 &
tail -f /var/log/vllm.logДля закрытых моделей, например Llama или Gemma, перед запуском задайте токен Hugging Face в переменной HF_TOKEN. Если нужна другая версия vLLM или свои флаги, запустите свой образ через шаблон Свой Docker-образ.
Адрес API — кнопка «API (порт 8000)» на странице сервера, путь /v1. Имя модели в запросе должно совпадать с параметром --model.
curl https://<id>-8000.run.gpu.nz/v1/chat/completions \
-H "Authorization: Bearer <токен>" \
-H "Content-Type: application/json" \
-d '{"model": "Qwen/Qwen2.5-7B-Instruct", "messages": [{"role": "user", "content": "Что такое vLLM?"}]}'# pip install openai
from openai import OpenAI
client = OpenAI(
base_url="https://<id>-8000.run.gpu.nz/v1",
api_key="<токен>",
)
reply = client.chat.completions.create(
model="Qwen/Qwen2.5-7B-Instruct",
messages=[{"role": "user", "content": "Что такое vLLM?"}],
)
print(reply.choices[0].message.content)Если нужен чат, начните с шаблона Open WebUI + Ollama. vLLM подходит для API, которым пользуются многие одновременно, и для моделей в формате Hugging Face.
| Параметр | Ollama | vLLM |
|---|---|---|
| Для чего | чат и API для себя и небольшой команды | API для сервиса с параллельной нагрузкой |
| Интерфейс | чат Open WebUI в браузере | только API, без чата |
| Модели | библиотека Ollama и GGUF с Hugging Face | веса Hugging Face: 16-битные, AWQ, GPTQ |
| Первый запуск | несколько минут | 10–30 минут и дольше |
| Смена модели | поле «Модель» или загрузка в чате | перезапуск по SSH с новым --model |
Пошаговое сравнение с командами есть в гайде Ollama и vLLM на арендованном GPU.