Qwen3 Next 80B-A3B в квантизации Q4_K_M с контекстом 8 тысяч токенов занимает 46,5 ГБ видеопамяти. Самый дешёвый вариант сейчас — RTX A6000 48 ГБ, от 47 ₽/ч.
Размер файла весов и вся нужная видеопамять с кэшем контекста. Одна видеокарта, один запрос.
| Квантизация | Файл | Контекст 8K | Контекст 32K | Контекст 128K | Хватит видеокарты |
|---|---|---|---|---|---|
| BF16 | 148,5 | 149,8 | 150,4 | 152,6 | B200 180 ГБ |
| FP8 | 76,4 | 77,7 | 78,3 | 80,5 | A800 PCIe 80 ГБ |
| Q8_0 | 79,0 | 80,3 | 80,8 | 83,1 | H100 NVL 94 ГБ |
| Q6_K | 61,0 | 62,3 | 62,9 | 65,1 | RTX PRO 5000 72 ГБ |
| Q5_K_M | 52,9 | 54,2 | 54,8 | 57,0 | RTX PRO 5000 72 ГБ |
| Q4_K_M | 45,2 | 46,5 | 47,0 | 49,3 | RTX A6000 48 ГБ |
| Q3_K_M | 35,7 | 37,0 | 37,5 | 39,8 | A100 PCIe 40 ГБ |
| Q2_K | 27,2 | 28,5 | 29,0 | 31,3 | Tesla V100 Super 32 ГБ |
Сколько памяти занимает кэш на один запрос в FP16. Q8-кэш почти вдвое меньше. 24 КБ на токен.
Видеокарты из каталога, на которых модель помещается, по цене за час.
Цена — от самой дешёвой видеокарты этой модели × число GPU. Сервер на 2–8 видеокарт бывает немного дороже за штуку.
Для API с высокой нагрузкой — шаблон vLLM с OpenAI-совместимым API.
Размеры файлов сверены с Hugging Face 2026-10-19. 1 ГБ здесь — 1024³ байт, как у видеокарт. На Hugging Face размеры в десятичных гигабайтах, поэтому там числа на 7% больше.