GLM-4.7 Flash: сколько видеопамяти нужно и на какой видеокарте запустить

GLM-4.7 Flash в квантизации Q4_K_M с контекстом 8 тысяч токенов занимает 18,5 ГБ видеопамяти. Самый дешёвый вариант сейчас — 2× RTX 3060 12 ГБ, от 14 ₽/ч.

Подобрать сервер Открыть в калькуляторе

Видеопамять по квантизациям

Размер файла весов и вся нужная видеопамять с кэшем контекста. Одна видеокарта, один запрос.

Квантизация	Файл	Контекст 8K	Контекст 32K	Контекст 128K	Хватит видеокарты
BF16	55,8	57,3	58,5	63,4	RTX PRO 5000 72 ГБ
Q8_0	29,7	31,1	32,4	37,3	Tesla V100 Super 32 ГБ
Q6_K	23,0	24,5	25,7	30,7	Tesla V100 Super 32 ГБ
Q5_K_M	19,9	21,4	22,6	27,6	RTX 3090 24 ГБ
Q4_K_M	17,1	18,5	19,8	24,7	RTX 4000 Ada 20 ГБ
Q3_K_M	13,6	15,1	16,3	21,3	RTX A4000 16 ГБ
Q2_K	10,6	12,0	13,3	18,2	RTX A4000 16 ГБ

Кэш контекста

Сколько памяти занимает кэш на один запрос в FP16. Q8-кэш почти вдвое меньше. 53 КБ на токен.

Контекст 8K: 0,41 ГБ
Контекст 32K: 1,7 ГБ
Контекст 128K: 6,6 ГБ

Где запустить дешевле всего

Видеокарты из каталога, на которых модель помещается, по цене за час.

2× RTX 3060 12 ГБзагрузка 84%от 14 ₽/чАрендовать
RTX 4000 Ada 20 ГБзагрузка 95%от 26 ₽/чАрендовать
RTX 3090 24 ГБзагрузка 79%от 26 ₽/чАрендовать
Tesla V100 Super 32 ГБзагрузка 59%от 26 ₽/чАрендовать
2× RTX A4000 16 ГБзагрузка 63%от 28 ₽/чАрендовать

Цена — от самой дешёвой видеокарты этой модели × число GPU. Сервер на 2–8 видеокарт бывает немного дороже за штуку.

Как запустить на gpu.nz

Для API с высокой нагрузкой — шаблон vLLM с OpenAI-совместимым API.

Вопросы

Сколько видеопамяти нужно GLM-4.7 Flash?: В квантизации Q4_K_M с контекстом 8 тысяч токенов — 18,5 ГБ: веса 17,1 ГБ, кэш контекста 0,41 ГБ и около 1 ГБ служебной памяти. В BF16 — 57,3 ГБ.
Запустится ли GLM-4.7 Flash на RTX 4090 с 24 ГБ?: Да. В Q4_K_M модель занимает 18,5 ГБ и помещается в 24 ГБ.
Сколько стоит запустить GLM-4.7 Flash?: Самый дешёвый подходящий сервер сейчас — 2× RTX 3060 12 ГБ, от 14 ₽/ч. Оплата поминутная: остановили сервер — платите только за диск.
Какую квантизацию выбрать?: Q4_K_M — стандарт для чата: качество почти как у оригинала при размере втрое меньше BF16. Q5_K_M и Q6_K точнее, Q8_0 почти не отличается от оригинала. Для vLLM берите FP8 или BF16.

Размеры файлов сверены с Hugging Face 2026-10-19. 1 ГБ здесь — 1024³ байт, как у видеокарт. На Hugging Face размеры в десятичных гигабайтах, поэтому там числа на 7% больше.

GLM-4.7 Flash: сколько видеопамяти нужно и на какой видеокарте запустить

Видеопамять по квантизациям

Размер файла весов и вся нужная видеопамять с кэшем контекста. Одна видеокарта, один запрос.

Квантизация	Файл	Контекст 8K	Контекст 32K	Контекст 128K	Хватит видеокарты
BF16	55,8	57,3	58,5	63,4	RTX PRO 5000 72 ГБ
Q8_0	29,7	31,1	32,4	37,3	Tesla V100 Super 32 ГБ
Q6_K	23,0	24,5	25,7	30,7	Tesla V100 Super 32 ГБ
Q5_K_M	19,9	21,4	22,6	27,6	RTX 3090 24 ГБ
Q4_K_M	17,1	18,5	19,8	24,7	RTX 4000 Ada 20 ГБ
Q3_K_M	13,6	15,1	16,3	21,3	RTX A4000 16 ГБ
Q2_K	10,6	12,0	13,3	18,2	RTX A4000 16 ГБ

Где запустить дешевле всего

Видеокарты из каталога, на которых модель помещается, по цене за час.

2× RTX 3060 12 ГБзагрузка 84%от 14 ₽/чАрендовать

RTX 4000 Ada 20 ГБзагрузка 95%от 26 ₽/чАрендовать

RTX 3090 24 ГБзагрузка 79%от 26 ₽/чАрендовать

Tesla V100 Super 32 ГБзагрузка 59%от 26 ₽/чАрендовать

2× RTX A4000 16 ГБзагрузка 63%от 28 ₽/чАрендовать

Вопросы

Сколько видеопамяти нужно GLM-4.7 Flash?

В квантизации Q4_K_M с контекстом 8 тысяч токенов — 18,5 ГБ: веса 17,1 ГБ, кэш контекста 0,41 ГБ и около 1 ГБ служебной памяти. В BF16 — 57,3 ГБ.

Запустится ли GLM-4.7 Flash на RTX 4090 с 24 ГБ?

Да. В Q4_K_M модель занимает 18,5 ГБ и помещается в 24 ГБ.

Сколько стоит запустить GLM-4.7 Flash?

Самый дешёвый подходящий сервер сейчас — 2× RTX 3060 12 ГБ, от 14 ₽/ч. Оплата поминутная: остановили сервер — платите только за диск.

Какую квантизацию выбрать?

Q4_K_M — стандарт для чата: качество почти как у оригинала при размере втрое меньше BF16. Q5_K_M и Q6_K точнее, Q8_0 почти не отличается от оригинала. Для vLLM берите FP8 или BF16.