Дообучение LLM меняет поведение модели на ваших примерах: тон ответов, формат, манеру письма. Unsloth Studio делает это в браузере: вы выбираете модель, загружаете датасет, запускаете LoRA или QLoRA и экспортируете результат в GGUF для Ollama. Unsloth экономит память и время, поэтому модель на 7–8 млрд параметров обучается на одной видеокарте.
Коротко
Unsloth Studio работает на видеокартах от 16 ГБ. Самая доступная подходящая сейчас — RTX A4000 16 ГБ от 13 ₽ в час, оплата по минутам.
Обновлено 13 октября 2026 г.
Модель 7–8B в 4 битах (QLoRA) помещается в 16 ГБ, а RTX 4090 24 ГБ даёт запас под длинные примеры и модели 14B. Модели 27–32B в 4 битах лучше обучать на 48 ГБ, например на L40S 48 ГБ. LoRA в полной точности для 7B требует от 24 ГБ. Длинные диалоги тоже занимают память под промежуточные вычисления, поэтому проверяйте длину примеров.
Цены и наличие берутся из живого каталога и обновляются автоматически.
Удобнее всего JSONL: каждая строка — один диалог в формате messages. Для смены стиля и формата обычно хватает нескольких сотен хорошо подобранных примеров. Качество важнее количества: удалите дубли и ответы, которые неверны или противоречат остальным, иначе модель выучит и ошибку.
{"messages": [{"role": "user", "content": "Как оформить возврат?"}, {"role": "assistant", "content": "Напишите в поддержку номер заказа, и мы подскажем, что делать дальше."}]}Ориентиры для QLoRA (веса в 4 битах) и для LoRA с весами в 16 битах:
| Модель | Метод | Видеопамять |
|---|---|---|
| 7–8B: Qwen, Llama, Gemma | QLoRA, 4 бита | от 16 ГБ |
| 14B | QLoRA, 4 бита | от 24 ГБ |
| 27–32B | QLoRA, 4 бита | от 48 ГБ |
| 7–8B | LoRA, 16 бит | от 24 ГБ |
Как считать память под свою модель и длину контекста, см. в гайде сколько видеопамяти нужно для LLM.
GGUF — формат, который понимают Ollama и llama.cpp. Скачайте экспортированный файл, создайте Modelfile с одной строкой FROM, которая указывает на файл, и соберите модель командами в терминале по SSH:
# Modelfile
FROM ./my-model-q4_k_m.gguf
# в терминале
ollama create my-model -f Modelfile
ollama run my-modelИмя файла зависит от экспорта, поэтому подставьте своё. Если Ollama уже работает на шаблоне Open WebUI + Ollama, перенесите файл туда и выполните те же команды.
Для нескольких сотен примеров и одной-двух эпох обучение модели 7–8B на RTX 4090 обычно занимает от нескольких минут до получаса. Чем больше примеров и эпох, тем дольше, примерно пропорционально. Результат, включая экспорт в GGUF, сохраняется на диск сервера, и его можно скачать через JupyterLab.