Калькулятор видеопамяти

Выберите модель, квантизацию и длину контекста — покажем, сколько видеопамяти нужно и на каких видеокартах модель запустится дешевле всего.

Тип модели

Модель

КвантизацияQ4_K_M — стандарт для Ollama и llama.cpp: в 3,3 раза меньше BF16 почти без потери качества.

Контекст, токенов

Длина переписки, которую модель держит в памяти. 8 тысяч — обычный чат, 32 и больше — документы и код.

Запросов одновременно

Для своего чата хватит одного. Для API на vLLM каждый параллельный запрос держит свой кэш.

Кэш контекста

Q8 вдвое уменьшает кэш (llama.cpp: -ctk q8_0 -ctv q8_0, vLLM: --kv-cache-dtype fp8).

Нужно видеопамяти17,2 ГБ

Где запустить дешевле всего

Видеокарты из каталога, на которых модель помещается, по цене за час.

Цена — от самой дешёвой видеокарты этой модели × число GPU. Сервер на 2–8 видеокарт бывает немного дороже за штуку.

1 ГБ здесь — 1024³ байт, как у видеокарт. На Hugging Face размеры в десятичных гигабайтах, поэтому там числа на 7% больше.

Веса — реальный размер опубликованного файла: GGUF от unsloth и других авторов, FP8 и BF16 с Hugging Face. Если файла нет, считаем по числу параметров: Q4_K_M — 4,84 бита на вес, Q8_0 — 8,5.
Кэш контекста — по архитектуре модели из её config.json: число слоёв, KV-головы и их размер. Учитываем скользящее окно (Gemma, GPT-OSS), сжатый кэш MLA (DeepSeek, Kimi) и слои линейного внимания (Qwen3.5, Qwen3.8), у которых кэш не растёт с контекстом.
Служебная память — контекст CUDA и буферы рантайма: около 0,75 ГБ плюс буфер логитов на 512 токенов.
Модель помещается, если всё вместе меньше 97,5% памяти видеокарты: остальное занимают драйвер и CUDA. vLLM по умолчанию забирает 90% памяти под кэш — это нормально.

Модели картинок и видео считаем для ComfyUI: сначала работает текстовый энкодер, потом он выгружается, и в памяти остаются модель, VAE и рабочая память генерации.
«Минимум» — так ComfyUI работает по умолчанию, когда памяти мало. «Без выгрузки» — всё держится в памяти, повторные генерации быстрее.
Рабочая память — наша оценка для указанного разрешения и числа кадров. На меньшей карте ComfyUI тоже запустит модель, частично выгружая веса в оперативную память, но медленнее.