Ollama, LM Studio, llama.cpp или vLLM: что выбрать

Дома, для себя, берите LM Studio или Ollama; для API на сервере — Ollama, если пользователь один, и vLLM, если их много. Выбор меняет и память: Qwen3.8 27B занимает 17,2 ГБ в GGUF Q4_K_M и 52,8 ГБ в исходных весах BF16, с которыми работает vLLM. Ниже — таблица возможностей, сверенная с документацией 2026-10-20, расчёт памяти по форматам и запуск на арендованной видеокарте.

Чем отличаются Ollama, LM Studio, llama.cpp и vLLM

Все четыре запускают открытые модели, но делят работу по-разному: LM Studio и Ollama — готовые программы, llama.cpp — движок с множеством флагов, vLLM — сервер для API под нагрузкой.

• Ollama — программа, которая скачивает модель и запускает её одной командой ollama run. К ней есть REST API и совместимый с OpenAI адрес /v1.
• LM Studio — настольное приложение: чат, каталог моделей и переключатель локального сервера. Для серверов есть режим без окна (llmster) и консольная утилита lms. Модели он запускает на движке llama.cpp, а на Mac с Apple Silicon ещё и на MLX.
• llama.cpp — открытый движок на C/C++ с лицензией MIT. Он же даёт сервер llama-server с OpenAI-совместимым API и веб-интерфейсом.
• vLLM — библиотека и сервер для обслуживания моделей через API. Его делали для одновременных запросов; веб-чата в нём нет.

Что они умеют на деле — в таблице. Её строки взяты из README и документации проектов и проверены 2026-10-20.

Источники: docs.ollama.com и README Ollama, lmstudio.ai/docs, репозиторий ggml-org/llama.cpp на GitHub, docs.vllm.ai. Скорость генерации мы не измеряли и не сравниваем: она зависит от карты, модели и квантизации.

Где скачать Ollama, LM Studio, llama.cpp и vLLM

Ollama, llama.cpp и vLLM ставятся командой в терминале, LM Studio — обычным приложением с сайта lmstudio.ai. Команды взяты из документации проектов.

# Ollama: Linux и macOS
curl -fsSL https://ollama.com/install.sh | sh

# Ollama: Windows, PowerShell
irm https://ollama.com/install.ps1 | iex

# llama.cpp: Linux и macOS
curl -LsSf https://llama.app/install.sh | sh

# vLLM: Linux с видеокартой NVIDIA
uv pip install vllm --torch-backend=auto
vllm download-kernels

LM Studio работает на Windows, Linux и на Mac с чипом Apple Silicon; на Mac с процессором Intel он не запускается. Для llama.cpp есть готовые сборки на странице Releases репозитория ggml-org/llama.cpp и образ Docker. vLLM требует Linux, а для карт NVIDIA — compute capability 7.5 и выше, то есть RTX 20-й серии и новее.

Сколько памяти занимает одна модель в разных форматах

Одна и та же Qwen3.8 27B занимает от 17,2 ГБ до 52,8 ГБ, и разница в формате весов, а не в программе. Ollama, LM Studio и llama.cpp работают с квантизованными файлами GGUF: Q4_K_M хранит около 4,8 бита на параметр вместо 16. vLLM берёт веса Hugging Face: исходные BF16 или сжатые FP8, AWQ, GPTQ.

Веса в Q4_K_M в 3,3 раза легче, чем в BF16 (15,3 ГБ против 50,9 ГБ). Q4_K_M помещается в карту 24 ГБ. Для Q8_0 и FP8 нужна карта 32 ГБ, причём FP8 занимает её почти целиком. BF16 требует карту 80 ГБ.

У GPT-OSS 20B картина другая: модель сразу выпущена в формате MXFP4, её веса — 11,3 ГБ. С контекстом 8K ей нужно 12,6 ГБ, это карта 16 ГБ. Если развернуть веса до BF16, получится около 40,3 ГБ (оценка по числу параметров) и карта 48 ГБ. Перед выбором программы проверьте, в каком формате модель вышла: от этого зависит память.

Что меняется, когда запросов много

Все четыре умеют обслуживать несколько запросов сразу, но у каждого запроса свой кэш контекста, и он занимает видеопамять. Документация Ollama говорит об этом прямо: память растёт как OLLAMA_NUM_PARALLEL × OLLAMA_CONTEXT_LENGTH.

На один запрос с окном 8K кэш Qwen3.8 27B занимает 0,64 ГБ: у модели гибридная архитектура, поэтому он скромный. Для 16 запросов это 10,3 ГБ, а при окне 32K — 34,3 ГБ. Одному запросу хватает карты 32 ГБ, четырём нужна 48 ГБ, шестнадцати по 32K — 80 ГБ.

Число одновременных запросов задаётся по-разному. В Ollama — переменной OLLAMA_NUM_PARALLEL, в llama.cpp — флагом -np (число слотов), в LM Studio — параметром Max Concurrent Predictions. В vLLM оно упирается в память, которая осталась после весов.

Что выбрать: компьютер, сервер или максимум контроля

• Один человек, домашний компьютер. LM Studio, если нужно окно с чатом и каталогом моделей. Ollama, если удобнее командная строка и нужен API для своих программ. На Windows и Mac проще всего эти два.
• Нет своей видеокарты или модель не помещается. Арендуйте сервер с Ollama: шаблон даёт чат в браузере и API. Его хватает для себя и небольшой команды.
• API для многих пользователей или сервиса. vLLM: непрерывное батчирование, веса Hugging Face, FP8 и AWQ. Нужен Linux, на Windows он идёт только через WSL.
• Нужно уместить модель в ограниченную память. llama.cpp: тонкие настройки кэша, слоёв и экспертов, о которых ниже.

llama.cpp пригодится, когда модель почти не помещается. Кэш K и V можно хранить сжатым: флаги -ctk q8_0 -ctv q8_0 делают его примерно вдвое меньше. Для Qwen3.8 27B в Q4_K_M с контекстом 128K это 20,9 ГБ вместо 24,7 ГБ: хватает карты 24 ГБ вместо 32 ГБ. Тот же приём есть в Ollama (OLLAMA_KV_CACHE_TYPE), но там один тип кэша на все модели. Для q8_0 её документация называет потерю точности очень небольшой.

У моделей MoE llama.cpp умеет оставлять эксперты в оперативной памяти (флаги --cpu-moe и --n-cpu-moe). Модель, которая не влезла в видеопамять, он запускает в гибридном режиме CPU и GPU: ответы идут медленнее, чем при полной загрузке в видеопамять.

Посчитайте свою модель

Выберите модель, формат и контекст: калькулятор покажет память и карты каталога, на которых она запустится дешевле всего. Для vLLM смотрите варианты FP8 и BF16, для Ollama, LM Studio и llama.cpp — Q4_K_M и Q8_0. Правило расчёта — в гайде про VRAM для LLM.

Как запустить Ollama или vLLM на арендованной видеокарте

Для двух из четырёх инструментов на серверах gpu.nz есть готовые шаблоны: Ollama и vLLM. LM Studio — настольное приложение, шаблона для него нет, как и для llama.cpp. Для Qwen3.8 27B есть и готовый чат: шаблон Qwen 3.8 на карте от 24 ГБ.

1. 1

   Выберите карту и шаблон

   Посчитайте память выше и откройте каталог. Нажмите «Арендовать» и выберите шаблон Open WebUI + Ollama (карта от 8 ГБ) или vLLM (карта от 24 ГБ).

2. 2

   Укажите модель и диск

   В Ollama впишите в поле «Модель» имя, например qwen3:8b, или оставьте поле пустым и скачайте модель в чате; диск возьмите от 40 ГБ. В vLLM по умолчанию стартует Qwen2.5 7B, диск нужен от 50 ГБ, лучше 100 ГБ.

3. 3

   Дождитесь запуска

   Ollama скачивает модель обычно за 3–10 минут. vLLM запускается 10–30 минут и больше: он скачивает и компилирует модель. Когда API начнёт отвечать, придёт уведомление.

4. 4

   Подключите клиент

   Адрес Ollama API — ссылка «Ollama API» на странице сервера (https://<id>-11434.run.gpu.nz/v1), адрес vLLM — кнопка «API (порт 8000)» (https://<id>-8000.run.gpu.nz/v1). Ключ — токен доступа с той же страницы, имя модели должно совпадать с именем на сервере.

   # vLLM
   curl https://<id>-8000.run.gpu.nz/v1/chat/completions \
     -H "Authorization: Bearer <токен>" \
     -H "Content-Type: application/json" \
     -d '{"model": "Qwen/Qwen2.5-7B-Instruct", "messages": [{"role": "user", "content": "Привет"}]}'
   
   # Ollama: порт 11434 и имя модели из списка
   curl https://<id>-11434.run.gpu.nz/v1/chat/completions \
     -H "Authorization: Bearer <токен>" \
     -H "Content-Type: application/json" \
     -d '{"model": "qwen3:8b", "messages": [{"role": "user", "content": "Привет"}]}'

5. 5

   Остановите сервер, когда закончили

   Остановленный сервер не тратит деньги на видеокарту, но диск с моделями тарифицируется, пока вы не удалили сервер.

Чтобы сменить модель в vLLM, подключитесь по SSH и перезапустите сервер с нужным параметром --model; в Ollama хватит команды ollama pull. Команды и ошибки разобраны в гайде Ollama и vLLM на арендованном GPU, подходящие модели — в подборке лучших моделей Ollama.

LM Studio и llama.cpp на сервер придётся ставить вручную по SSH. А если своей видеокарты нет совсем, начните с материала про локальный ИИ без мощного ПК.

Что может пойти не так

• Параллельные запросы умножают кэш. Первые таблицы посчитаны для одного запроса. Для API на нескольких человек добавьте память на кэш каждого одновременного запроса, особенно при длинном контексте.
• GGUF в vLLM — не основной путь. Документация vLLM называет поддержку GGUF крайне экспериментальной и требует отдельный плагин. Для vLLM берите FP8, AWQ или исходные веса.
• vLLM занимает почти всю карту. Долю памяти задаёт параметр --gpu-memory-utilization, поэтому другие задачи на той же карте обычно не запустить.
• Ключ vLLM защищает не все адреса. По документации --api-key проверяется только на путях /v1, /v2 и /inference. Если ставите vLLM сами, спрячьте порт за прокси.
• Модель не влезла в видеопамять. Ollama и llama.cpp положат часть слоёв в оперативную память и запустятся, но ответы станут заметно медленнее. В Ollama долю видно в колонке Processor команды ollama ps.

Как мы считали

Размеры весов — реальные файлы: GGUF из репозиториев Hugging Face, FP8 и BF16 из оригинальных репозиториев моделей. BF16 у GPT-OSS 20B посчитан по числу параметров. Кэш контекста посчитан по config.json модели, для нескольких запросов он умножен на их число: каждый запрос занимает окно целиком. Служебная память — около 0,75 ГБ плюс буфер логитов. 1 ГБ здесь — 1024³ байт, как у видеокарт. Данные калькулятора на 2026-10-19; методика — в калькуляторе, таблица по 35 моделям — в статье «Сколько видеопамяти нужно открытым LLM».

Возможности инструментов сверены с официальной документацией 2026-10-20: README и docs.ollama.com, lmstudio.ai/docs, README и документация сервера llama.cpp, docs.vllm.ai. Версии выходят часто, поэтому перед установкой откройте страницу проекта.