GPT-OSS 120B: сколько видеопамяти нужно и на какой видеокарте запустить
GPT-OSS 120B в квантизации MXFP4 с контекстом 8 тысяч токенов занимает 60,5 ГБ видеопамяти. Самый дешёвый вариант сейчас — 2× Tesla V100 Super 32 ГБ, от 52 ₽/ч.
Цена — от самой дешёвой видеокарты этой модели × число GPU. Сервер на 2–8 видеокарт бывает немного дороже за штуку.
Как запустить на gpu.nz
Шаблон «GPT-OSS 120B» запускает модель с готовым окружением: откройте ссылку, когда сервер загрузится.
В шаблоне Ollama модель ставится одной командой:
ollama run gpt-oss:120b
Для API с высокой нагрузкой — шаблон vLLM с OpenAI-совместимым API.
Вопросы
Сколько видеопамяти нужно GPT-OSS 120B?
В квантизации MXFP4 с контекстом 8 тысяч токенов — 60,5 ГБ: веса 59,0 ГБ, кэш контекста 0,29 ГБ и около 1 ГБ служебной памяти. В BF16 — 219,0 ГБ.
Запустится ли GPT-OSS 120B на RTX 4090 с 24 ГБ?
В одну RTX 4090 модель не помещается даже в MXFP4: нужно 60,5 ГБ. Подойдёт видеокарта с 64 ГБ ГБ или несколько RTX 4090.
Сколько стоит запустить GPT-OSS 120B?
Самый дешёвый подходящий сервер сейчас — 2× Tesla V100 Super 32 ГБ, от 52 ₽/ч. Оплата поминутная: остановили сервер — платите только за диск.
Какую квантизацию выбрать?
Q4_K_M — стандарт для чата: качество почти как у оригинала при размере втрое меньше BF16. Q5_K_M и Q6_K точнее, Q8_0 почти не отличается от оригинала. Для vLLM берите FP8 или BF16.
Размеры файлов сверены с Hugging Face 2026-10-19. 1 ГБ здесь — 1024³ байт, как у видеокарт. На Hugging Face размеры в десятичных гигабайтах, поэтому там числа на 7% больше.