DeepSeek V4 Flash в квантизации UD-Q4_K_XL с контекстом 8 тысяч токенов занимает 145,5 ГБ видеопамяти. Самый дешёвый вариант сейчас — 2× A800 PCIe 80 ГБ, от 164 ₽/ч.
Размер файла весов и вся нужная видеопамять с кэшем контекста. Одна видеокарта, один запрос.
| Квантизация | Файл | Контекст 8K | Контекст 32K | Контекст 128K | Хватит видеокарты |
|---|---|---|---|---|---|
| FP4/FP8родная | 148,7 | 149,7 | 150,0 | 151,2 | B200 180 ГБ |
| BF16 | ≈541,9 | 543,0 | 543,3 | 544,4 | 2+ видеокарты |
| UD-Q4_K_XL | 144,4 | 145,5 | 145,8 | 147,0 | B200 180 ГБ |
| Q3_K_M | 120,4 | 121,5 | 121,8 | 123,0 | H200 NVL 141 ГБ |
| UD-Q2_K_XL | 90,2 | 91,3 | 91,6 | 92,7 | H100 NVL 94 ГБ |
Сколько памяти занимает кэш на один запрос в FP16. Q8-кэш почти вдвое меньше. 12 КБ на токен.
Видеокарты из каталога, на которых модель помещается, по цене за час.
Цена — от самой дешёвой видеокарты этой модели × число GPU. Сервер на 2–8 видеокарт бывает немного дороже за штуку.
Для API с высокой нагрузкой — шаблон vLLM с OpenAI-совместимым API.
Размеры файлов сверены с Hugging Face 2026-10-19. 1 ГБ здесь — 1024³ байт, как у видеокарт. На Hugging Face размеры в десятичных гигабайтах, поэтому там числа на 7% больше.