5 мин чтения
Какую GPU выбрать для обучения LoRA: SDXL, FLUX и 7B модели
Выбор видеокарты для обучения LoRA на SDXL, FLUX и LLM 7B: требования к памяти, QLoRA против LoRA, и как оценить время обучения до запуска.
LoRA обучает небольшую добавку к замороженной модели, поэтому требует заметно меньше памяти, чем полное обучение. Выбор карты сводится к трём вопросам: размер базовой модели, точность и размер батча.
Ориентиры по памяти
- LoRA SDXL: от 16 ГБ.
- LoRA для FLUX: от 24 ГБ; меньше возможно с выгрузкой, но медленнее.
- QLoRA для 7B в 4 бита: от 16 ГБ.
- LoRA для 7B в fp16: от 24 ГБ.
- Полное обучение 7B: около 112 ГБ, то есть несколько GPU.
Как оценить время до запуска
- Возьмите 20–50 шагов на вашем датасете и размере батча.
- Замерьте секунды на шаг.
- Умножьте на общее число шагов и добавьте 20% на сохранение и валидацию.
Так вы узнаете стоимость до того, как начнёте полный прогон. Для короткого обучения часто выгоднее взять карту чуть дороже, но быструю.