Qwen3.8 27B в квантизации Q4_K_M с контекстом 8 тысяч токенов занимает 17,2 ГБ видеопамяти. Самый дешёвый вариант сейчас — 2× RTX 3060 12 ГБ, от 14 ₽/ч.
Размер файла весов и вся нужная видеопамять с кэшем контекста. Одна видеокарта, один запрос.
| Квантизация | Файл | Контекст 8K | Контекст 32K | Контекст 128K | Хватит видеокарты |
|---|---|---|---|---|---|
| BF16 | 50,9 | 52,8 | 54,3 | 60,3 | RTX PRO 5000 72 ГБ |
| FP8 | 28,7 | 30,6 | 32,1 | 38,1 | Tesla V100 Super 32 ГБ |
| Q8_0 | 27,1 | 28,9 | 30,4 | 36,4 | Tesla V100 Super 32 ГБ |
| Q6_K | 20,5 | 22,3 | 23,8 | 29,8 | RTX 3090 24 ГБ |
| Q5_K_M | 18,4 | 20,3 | 21,8 | 27,8 | RTX 3090 24 ГБ |
| Q4_K_M | 15,3 | 17,2 | 18,7 | 24,7 | RTX 4000 Ada 20 ГБ |
| UD-Q2_K_XL | 9,2 | 11,0 | 12,5 | 18,5 | RTX 3060 12 ГБ |
Сколько памяти занимает кэш на один запрос в FP16. Q8-кэш почти вдвое меньше. 64 КБ на токен.
Видеокарты из каталога, на которых модель помещается, по цене за час.
Цена — от самой дешёвой видеокарты этой модели × число GPU. Сервер на 2–8 видеокарт бывает немного дороже за штуку.
Шаблон «Qwen 3.8» запускает модель с готовым окружением: откройте ссылку, когда сервер загрузится.
В шаблоне Ollama модель ставится одной командой:
ollama run qwen3.8:27bДля API с высокой нагрузкой — шаблон vLLM с OpenAI-совместимым API.
Размеры файлов сверены с Hugging Face 2026-10-19. 1 ГБ здесь — 1024³ байт, как у видеокарт. На Hugging Face размеры в десятичных гигабайтах, поэтому там числа на 7% больше.