GPT-OSS 120B на одной видеокарте: чат и API

Что можно делать

• сложные задачи: многошаговые рассуждения, математика, планирование
• большие технические тексты и спецификации в контексте до 32 768 токенов
• код: поиск ошибок в модуле, предложения по рефакторингу, объяснение архитектуры
• эталон для проверки: большая модель оценивает ответы меньших
• API для внутреннего сервиса команды, где нужна сильная модель

Видеопамять

80 ГБ+

Что откроется

Готовый чат и API

Какая видеокарта нужна

Нужна карта на 80 ГБ видеопамяти: веса около 65 ГБ, а контекст до 32 768 токенов займёт большую часть остатка. Подойдут H100 SXM 80 ГБ и A100 SXM4 80 ГБ. Карты на 48 ГБ, такие как L40S и RTX A6000, для этой модели малы: целиком она в них не поместится. Если хватит меньшей модели, GPT-OSS 20B работает на 16 ГБ.

Как запустить

1. Откройте каталог, выберите карту на 80 ГБ, например H100 или A100, и нажмите «Арендовать» с шаблоном «GPT-OSS 120B».
2. Сервер стартует за 2–5 минут, а веса около 65 ГБ скачиваются при первом запуске: обычно от 10 до 30 минут, иногда дольше.
3. Когда модель будет готова, откройте чат кнопкой Open WebUI или по ссылке из Telegram. Модель уже выбрана.
4. Адрес API возьмите из кнопки «Ollama API», а токен — со страницы сервера: они нужны для примеров ниже.
5. Закончили — остановите сервер. Карта на 80 ГБ тарифицируется заметно дороже карт на 24 ГБ, и остановка сразу прекращает списание за видеокарту.

Вопросы и ответы

Другие шаблоны

• GPT-OSS 20B без цензурыОткрытая модель OpenAI без отказов. Быстрая, помещается в 16 ГБ видеопамяти.
• Qwen 3.8Свежая модель Alibaba на 27B: код, тексты, анализ, хороший русский язык.
• Qwen 3.8 без цензурыЧат с Qwen 3.8 27B без отказов. Модель уже загружена — открываете ссылку и пишете.
• Hermes 4.3 36BМодель Nous Research для свободных диалогов и ролевых сценариев — почти не отказывает.
• Gemma 4 26BМодель Google на быстрой MoE-архитектуре: понимает картинки и длинные документы.
• Qwen3 14B без цензурыЛёгкая модель без отказов для недорогих видеокарт от 12 ГБ.
• Open WebUI + OllamaСвой ChatGPT с любой моделью из Ollama или Hugging Face: назовите её при запуске или скачайте в чате.
• vLLMБыстрый инференс LLM с OpenAI-совместимым API для своих приложений.

Полезные гайды

• Запуск LLM на аренду GPU: Llama, Qwen, DeepSeek, MistralЗапустите Llama, Qwen, DeepSeek и Mistral на своей видеокарте в аренду: Ollama с чатом или vLLM с API. Какая GPU нужна, сколько стоит час и как начать.
• Сколько видеопамяти нужно для LLM: таблица и правило расчётаКак посчитать память под веса модели в fp16, int8 и int4, сколько нужно для 8B, 14B, 32B и 70B моделей и почему контекст тоже занимает память.
• Ollama и vLLM на арендованном GPU: чат и API за 10 минутПошагово: запуск модели в Ollama с чатом и API и vLLM с OpenAI-совместимым сервером на арендованной видеокарте. Команды, проверка и типичные ошибки.
• Локальная нейросеть без мощного компьютераЧто такое локальная нейросеть, сколько видеопамяти нужно для текста, картинок и видео и как запустить те же открытые модели на арендованной GPU.