GLM-4.5 Air: сколько видеопамяти нужно и на какой видеокарте запустить

GLM-4.5 Air в квантизации Q4_K_M с контекстом 8 тысяч токенов занимает 70,4 ГБ видеопамяти. Самый дешёвый вариант сейчас — A800 PCIe 80 ГБ, от 82 ₽/ч.

Подобрать сервер Открыть в калькуляторе

Видеопамять по квантизациям

Размер файла весов и вся нужная видеопамять с кэшем контекста. Одна видеокарта, один запрос.

Квантизация	Файл	Контекст 8K	Контекст 32K	Контекст 128K	Хватит видеокарты
BF16	205,8	208,3	212,6	229,9	B300 288 ГБ
FP8	104,8	107,3	111,6	128,9	H200 NVL 141 ГБ
Q8_0	109,4	111,9	116,2	133,4	H200 NVL 141 ГБ
Q6_K	92,2	94,7	99,0	116,2	H200 NVL 141 ГБ
Q5_K_M	77,8	80,3	84,6	101,8	H100 NVL 94 ГБ
Q4_K_M	68,0	70,4	74,8	92,0	A800 PCIe 80 ГБ
Q3_K_M	53,3	55,8	60,1	77,3	RTX PRO 5000 72 ГБ
Q2_K	42,2	44,7	49,0	66,2	RTX A6000 48 ГБ

Кэш контекста

Сколько памяти занимает кэш на один запрос в FP16. Q8-кэш почти вдвое меньше. 184 КБ на токен.

Контекст 8K: 1,4 ГБ
Контекст 32K: 5,8 ГБ
Контекст 128K: 23,0 ГБ

Где запустить дешевле всего

Видеокарты из каталога, на которых модель помещается, по цене за час.

A800 PCIe 80 ГБзагрузка 90%от 82 ₽/чАрендовать
2× RTX A6000 48 ГБзагрузка 76%от 94 ₽/чАрендовать
A100 PCIe 80 ГБзагрузка 90%от 98 ₽/чАрендовать
4× RTX 3090 24 ГБзагрузка 79%от 104 ₽/чАрендовать
4× RTX 4090 24 ГБзагрузка 79%от 116 ₽/чАрендовать

Цена — от самой дешёвой видеокарты этой модели × число GPU. Сервер на 2–8 видеокарт бывает немного дороже за штуку.

Как запустить на gpu.nz

Для API с высокой нагрузкой — шаблон vLLM с OpenAI-совместимым API.

Вопросы

Сколько видеопамяти нужно GLM-4.5 Air?: В квантизации Q4_K_M с контекстом 8 тысяч токенов — 70,4 ГБ: веса 68,0 ГБ, кэш контекста 1,4 ГБ и около 1 ГБ служебной памяти. В BF16 — 208,3 ГБ.
Запустится ли GLM-4.5 Air на RTX 4090 с 24 ГБ?: В одну RTX 4090 модель не помещается даже в Q4_K_M: нужно 70,4 ГБ. Подойдёт видеокарта с 80 ГБ ГБ или несколько RTX 4090.
Сколько стоит запустить GLM-4.5 Air?: Самый дешёвый подходящий сервер сейчас — A800 PCIe 80 ГБ, от 82 ₽/ч. Оплата поминутная: остановили сервер — платите только за диск.
Какую квантизацию выбрать?: Q4_K_M — стандарт для чата: качество почти как у оригинала при размере втрое меньше BF16. Q5_K_M и Q6_K точнее, Q8_0 почти не отличается от оригинала. Для vLLM берите FP8 или BF16.

Размеры файлов сверены с Hugging Face 2026-10-19. 1 ГБ здесь — 1024³ байт, как у видеокарт. На Hugging Face размеры в десятичных гигабайтах, поэтому там числа на 7% больше.

GLM-4.5 Air: сколько видеопамяти нужно и на какой видеокарте запустить

Видеопамять по квантизациям

Размер файла весов и вся нужная видеопамять с кэшем контекста. Одна видеокарта, один запрос.

Квантизация	Файл	Контекст 8K	Контекст 32K	Контекст 128K	Хватит видеокарты
BF16	205,8	208,3	212,6	229,9	B300 288 ГБ
FP8	104,8	107,3	111,6	128,9	H200 NVL 141 ГБ
Q8_0	109,4	111,9	116,2	133,4	H200 NVL 141 ГБ
Q6_K	92,2	94,7	99,0	116,2	H200 NVL 141 ГБ
Q5_K_M	77,8	80,3	84,6	101,8	H100 NVL 94 ГБ
Q4_K_M	68,0	70,4	74,8	92,0	A800 PCIe 80 ГБ
Q3_K_M	53,3	55,8	60,1	77,3	RTX PRO 5000 72 ГБ
Q2_K	42,2	44,7	49,0	66,2	RTX A6000 48 ГБ

Где запустить дешевле всего

Видеокарты из каталога, на которых модель помещается, по цене за час.

A800 PCIe 80 ГБзагрузка 90%от 82 ₽/чАрендовать

2× RTX A6000 48 ГБзагрузка 76%от 94 ₽/чАрендовать

A100 PCIe 80 ГБзагрузка 90%от 98 ₽/чАрендовать

4× RTX 3090 24 ГБзагрузка 79%от 104 ₽/чАрендовать

4× RTX 4090 24 ГБзагрузка 79%от 116 ₽/чАрендовать

Вопросы

Сколько видеопамяти нужно GLM-4.5 Air?

В квантизации Q4_K_M с контекстом 8 тысяч токенов — 70,4 ГБ: веса 68,0 ГБ, кэш контекста 1,4 ГБ и около 1 ГБ служебной памяти. В BF16 — 208,3 ГБ.

Запустится ли GLM-4.5 Air на RTX 4090 с 24 ГБ?

В одну RTX 4090 модель не помещается даже в Q4_K_M: нужно 70,4 ГБ. Подойдёт видеокарта с 80 ГБ ГБ или несколько RTX 4090.

Сколько стоит запустить GLM-4.5 Air?

Самый дешёвый подходящий сервер сейчас — A800 PCIe 80 ГБ, от 82 ₽/ч. Оплата поминутная: остановили сервер — платите только за диск.

Какую квантизацию выбрать?

Q4_K_M — стандарт для чата: качество почти как у оригинала при размере втрое меньше BF16. Q5_K_M и Q6_K точнее, Q8_0 почти не отличается от оригинала. Для vLLM берите FP8 или BF16.