GPT-OSS 20B в квантизации MXFP4 с контекстом 8 тысяч токенов занимает 12,6 ГБ видеопамяти. Самый дешёвый вариант сейчас — 2× RTX 3060 12 ГБ, от 14 ₽/ч.
Размер файла весов и вся нужная видеопамять с кэшем контекста. Одна видеокарта, один запрос.
| Квантизация | Файл | Контекст 8K | Контекст 32K | Контекст 128K | Хватит видеокарты |
|---|---|---|---|---|---|
| MXFP4родная | 11,3 | 12,6 | 13,2 | 15,4 | RTX 4070 Ti Super 16 ГБ |
| BF16 | ≈38,9 | 40,3 | 40,8 | 43,1 | RTX A6000 48 ГБ |
Сколько памяти занимает кэш на один запрос в FP16. Q8-кэш почти вдвое меньше. 24 КБ на токен + 128 × 24 KB.
Видеокарты из каталога, на которых модель помещается, по цене за час.
Цена — от самой дешёвой видеокарты этой модели × число GPU. Сервер на 2–8 видеокарт бывает немного дороже за штуку.
Шаблон «GPT-OSS 20B без цензуры» запускает модель с готовым окружением: откройте ссылку, когда сервер загрузится.
В шаблоне Ollama модель ставится одной командой:
ollama run gpt-oss:20bДля API с высокой нагрузкой — шаблон vLLM с OpenAI-совместимым API.
Размеры файлов сверены с Hugging Face 2026-10-19. 1 ГБ здесь — 1024³ байт, как у видеокарт. На Hugging Face размеры в десятичных гигабайтах, поэтому там числа на 7% больше.