Обучение и LoRA-файнтьюнинг на аренду GPU

Для каких задач подходит

QLoRA для 7B — от 16 ГБ, LoRA в fp16 для 7B — от 24 ГБ, LoRA SDXL — от 16 ГБ. Полное дообучение 7B с Adam — примерно 112 ГБ памяти, то есть два сервера с 80 ГБ.

Видеопамять

24 ГБ+

Шаблоны

Kohya SS

Как запустить

1. Арендуйте сервер под модель: 24 ГБ для LoRA 7B, 16 ГБ для QLoRA или LoRA под SDXL.
2. Выберите шаблон Kohya для изображений или PyTorch + Jupyter для LLM и подготовьте датасет.
3. Запустите короткий прогон, оцените время шага и умножьте на число шагов, затем сохраните чекпойнт на диск и остановите сервер.

Kohya SS: Обучение LoRA и DreamBooth для SDXL и FLUX.

Цена аренды

Вопросы и ответы

Какой минимум для обучения LoRA на 7B?

С QLoRA в 4 бита — от 16 ГБ. В полной точности базовой модели — от 24 ГБ с запасом под активации.

Как оценить стоимость обучения?

Запустите один короткий прогон, замерьте время шага и итоговой эпохи, и умножьте на цену GPU в час.

Можно ли прервать обучение и продолжить позже?

Да, если сохраняете чекпойнты на диск. Остановленный сервер не тратит GPU-минуты, но диск тарифицируется.

Гайды

• Как не переплачивать за аренду GPU: остановка, диск и трафикЧто реально тарифицируется при аренде GPU по минутам: GPU, диск при остановке и трафик. Как остановить и удалить сервер, чтобы не платить за простой.
• Какую GPU выбрать для обучения LoRA: SDXL, FLUX и 7B моделиВыбор видеокарты для обучения LoRA на SDXL, FLUX и LLM 7B: требования к памяти, QLoRA против LoRA, и как оценить время обучения до запуска.

Решения

• Запуск LLM на аренду GPU: Llama, Qwen, DeepSeek, Mistral
• Stable Diffusion и FLUX на аренду GPU: Forge и SDXL онлайн
• ComfyUI онлайн на своём сервере: FLUX, Wan и HunyuanVideo