Qwen3.5 9B в квантизации Q4_K_M с контекстом 8 тысяч токенов занимает 6,8 ГБ видеопамяти. Самый дешёвый вариант сейчас — RTX 3060 12 ГБ, от 6,95 ₽/ч.
Размер файла весов и вся нужная видеопамять с кэшем контекста. Одна видеокарта, один запрос.
| Квантизация | Файл | Контекст 8K | Контекст 32K | Контекст 128K | Хватит видеокарты |
|---|---|---|---|---|---|
| BF16 | 16,7 | 18,2 | 19,0 | 22,0 | RTX 4000 Ada 20 ГБ |
| Q8_0 | 8,9 | 10,4 | 11,1 | 14,1 | RTX 3060 12 ГБ |
| Q6_K | 6,9 | 8,5 | 9,2 | 12,2 | RTX 3080 10 ГБ |
| Q5_K_M | 6,1 | 7,6 | 8,4 | 11,4 | RTX 4060 8 ГБ |
| Q4_K_M | 5,3 | 6,8 | 7,6 | 10,6 | RTX 4060 8 ГБ |
| Q3_K_M | 4,4 | 5,9 | 6,6 | 9,6 | RTX 4060 8 ГБ |
| UD-Q2_K_XL | 3,8 | 5,4 | 6,1 | 9,1 | RTX A2000 6 ГБ |
Сколько памяти занимает кэш на один запрос в FP16. Q8-кэш почти вдвое меньше. 32 КБ на токен.
Видеокарты из каталога, на которых модель помещается, по цене за час.
Цена — от самой дешёвой видеокарты этой модели × число GPU. Сервер на 2–8 видеокарт бывает немного дороже за штуку.
Для API с высокой нагрузкой — шаблон vLLM с OpenAI-совместимым API.
Размеры файлов сверены с Hugging Face 2026-10-19. 1 ГБ здесь — 1024³ байт, как у видеокарт. На Hugging Face размеры в десятичных гигабайтах, поэтому там числа на 7% больше.