Gemma 4 31B: сколько видеопамяти нужно и на какой видеокарте запустить

Gemma 4 31B в квантизации Q4_K_M с контекстом 8 тысяч токенов занимает 19,7 ГБ видеопамяти. Самый дешёвый вариант сейчас — 2× RTX 3060 12 ГБ, от 14 ₽/ч.

Подобрать сервер Открыть в калькуляторе

Видеопамять по квантизациям

Размер файла весов и вся нужная видеопамять с кэшем контекста. Одна видеокарта, один запрос.

Квантизация	Файл	Контекст 8K	Контекст 32K	Контекст 128K	Хватит видеокарты
BF16	57,2	59,9	61,7	69,2	RTX PRO 5000 72 ГБ
Q8_0	30,4	33,1	34,9	42,4	A100 PCIe 40 ГБ
Q6_K	23,5	26,1	28,0	35,5	Tesla V100 Super 32 ГБ
Q5_K_M	20,2	22,8	24,7	32,2	RTX 3090 24 ГБ
Q4_K_M	17,1	19,7	21,6	29,1	RTX 3090 24 ГБ
Q3_K_M	13,7	16,4	18,3	25,8	RTX 4000 Ada 20 ГБ
UD-Q2_K_XL	11,0	13,6	15,5	23,0	RTX A4000 16 ГБ

Кэш контекста

Сколько памяти занимает кэш на один запрос в FP16. Q8-кэш почти вдвое меньше. 80 КБ на токен + 1024 × 800 KB.

Контекст 8K: 1,4 ГБ
Контекст 32K: 3,3 ГБ
Контекст 128K: 10,8 ГБ

Где запустить дешевле всего

Видеокарты из каталога, на которых модель помещается, по цене за час.

2× RTX 3060 12 ГБзагрузка 90%от 14 ₽/чАрендовать
RTX 3090 24 ГБзагрузка 84%от 26 ₽/чАрендовать
Tesla V100 Super 32 ГБзагрузка 63%от 26 ₽/чАрендовать
2× RTX A4000 16 ГБзагрузка 67%от 28 ₽/чАрендовать
RTX 4090 24 ГБзагрузка 84%от 29 ₽/чАрендовать

Цена — от самой дешёвой видеокарты этой модели × число GPU. Сервер на 2–8 видеокарт бывает немного дороже за штуку.

Как запустить на gpu.nz

Для API с высокой нагрузкой — шаблон vLLM с OpenAI-совместимым API.

Вопросы

Сколько видеопамяти нужно Gemma 4 31B?: В квантизации Q4_K_M с контекстом 8 тысяч токенов — 19,7 ГБ: веса 17,1 ГБ, кэш контекста 1,4 ГБ и около 1 ГБ служебной памяти. В BF16 — 59,9 ГБ.
Запустится ли Gemma 4 31B на RTX 4090 с 24 ГБ?: Да. В Q4_K_M модель занимает 19,7 ГБ и помещается в 24 ГБ.
Сколько стоит запустить Gemma 4 31B?: Самый дешёвый подходящий сервер сейчас — 2× RTX 3060 12 ГБ, от 14 ₽/ч. Оплата поминутная: остановили сервер — платите только за диск.
Какую квантизацию выбрать?: Q4_K_M — стандарт для чата: качество почти как у оригинала при размере втрое меньше BF16. Q5_K_M и Q6_K точнее, Q8_0 почти не отличается от оригинала. Для vLLM берите FP8 или BF16.

Размеры файлов сверены с Hugging Face 2026-10-19. 1 ГБ здесь — 1024³ байт, как у видеокарт. На Hugging Face размеры в десятичных гигабайтах, поэтому там числа на 7% больше.

Gemma 4 31B: сколько видеопамяти нужно и на какой видеокарте запустить

Видеопамять по квантизациям

Размер файла весов и вся нужная видеопамять с кэшем контекста. Одна видеокарта, один запрос.

Квантизация	Файл	Контекст 8K	Контекст 32K	Контекст 128K	Хватит видеокарты
BF16	57,2	59,9	61,7	69,2	RTX PRO 5000 72 ГБ
Q8_0	30,4	33,1	34,9	42,4	A100 PCIe 40 ГБ
Q6_K	23,5	26,1	28,0	35,5	Tesla V100 Super 32 ГБ
Q5_K_M	20,2	22,8	24,7	32,2	RTX 3090 24 ГБ
Q4_K_M	17,1	19,7	21,6	29,1	RTX 3090 24 ГБ
Q3_K_M	13,7	16,4	18,3	25,8	RTX 4000 Ada 20 ГБ
UD-Q2_K_XL	11,0	13,6	15,5	23,0	RTX A4000 16 ГБ

Где запустить дешевле всего

Видеокарты из каталога, на которых модель помещается, по цене за час.

2× RTX 3060 12 ГБзагрузка 90%от 14 ₽/чАрендовать

RTX 3090 24 ГБзагрузка 84%от 26 ₽/чАрендовать

Tesla V100 Super 32 ГБзагрузка 63%от 26 ₽/чАрендовать

2× RTX A4000 16 ГБзагрузка 67%от 28 ₽/чАрендовать

RTX 4090 24 ГБзагрузка 84%от 29 ₽/чАрендовать

Вопросы

Сколько видеопамяти нужно Gemma 4 31B?

В квантизации Q4_K_M с контекстом 8 тысяч токенов — 19,7 ГБ: веса 17,1 ГБ, кэш контекста 1,4 ГБ и около 1 ГБ служебной памяти. В BF16 — 59,9 ГБ.

Запустится ли Gemma 4 31B на RTX 4090 с 24 ГБ?

Да. В Q4_K_M модель занимает 19,7 ГБ и помещается в 24 ГБ.

Сколько стоит запустить Gemma 4 31B?

Самый дешёвый подходящий сервер сейчас — 2× RTX 3060 12 ГБ, от 14 ₽/ч. Оплата поминутная: остановили сервер — платите только за диск.

Какую квантизацию выбрать?

Q4_K_M — стандарт для чата: качество почти как у оригинала при размере втрое меньше BF16. Q5_K_M и Q6_K точнее, Q8_0 почти не отличается от оригинала. Для vLLM берите FP8 или BF16.