Как обучать нейросети без своей видеокарты

Чтобы обучать нейросеть без своей видеокарты, арендуйте GPU-сервер по минутам: запустите сервер с нужной картой, загрузите данные, обучите модель, скачайте веса и остановите сервер. На gpu.nz это делается из браузера или командой gpunz; оплата поминутная из баланса в рублях. Пополнить баланс можно криптовалютой через CryptoBot.

Что нужно для обучения

Обучению нужна видеопамять: веса модели, градиенты и состояние оптимизатора должны помещаться на карту. Для LoRA и QLoRA на моделях 7–8B обычно хватает карты с 24 ГБ. Полное обучение больших моделей требует 80 ГБ и больше или нескольких карт сразу.

Какую видеокарту выбрать

• LoRA и QLoRA для моделей 7–8B: карта с 24 ГБ, например RTX 3090 или RTX 4090.
• Дообучение моделей 13–34B: карта с 48 ГБ и больше или квантизация для экономии памяти.
• Модели 70B и обучение с большим контекстом: A100 или H100 с 80 ГБ, часто несколько карт.
• Дообучение картинок (SDXL, FLUX LoRA): обычно хватает 24 ГБ.

Точная нужная память зависит от размера модели, длины контекста и метода обучения. Подробный расчёт — в гайде «Сколько видеопамяти нужно для LLM».

Пошагово

1. Проверьте скрипт обучения на маленьком наборе данных локально, чтобы не платить за ошибки.
2. Выберите видеокарту по памяти в каталоге и запустите сервер с шаблоном PyTorch с Jupyter (для картинок — Kohya SS).
3. Добавьте SSH-ключ до аренды, затем подключитесь командой из карточки сервера.
4. Проверьте карту командой nvidia-smi и запустите обучение в tmux или screen, чтобы оно не прервалось при обрыве связи.
5. Сохраняйте чекпойнты на диск и скачайте веса до остановки сервера.
6. Остановите сервер: GPU перестанет тарифицироваться. Удалите сервер, если диск больше не нужен.

nvidia-smi
python train.py --epochs 3 --save-every 500

Сколько это стоит

Минута стоит часовой тариф, делённый на 60, и цена фиксируется при запуске. Например, двухчасовое обучение при цене 100 ₽ в час обойдётся в 200 ₽. Прерываемые серверы дешевле, но могут быть приостановлены, поэтому для них нужны чекпойнты. Остановленный сервер не тарифицирует GPU, но диск оплачивается, пока существует.

Оплата

Сейчас баланс пополняется криптовалютой через CryptoBot: USDT, TON, BTC и другие валюты. Оплата банковскими картами и через СБП — скоро.