Локальная нейросеть без мощного компьютера

Локальная нейросеть — это модель, которая работает на вашем железе: веса скачиваются один раз, а запросы обрабатывает видеокарта, а не облачный сервис. Дома такой моделью можно пользоваться на видеокарте с 12–24 ГБ памяти. Если карты нет или она слабее, те же открытые модели работают на арендованном GPU-сервере gpu.nz: вы запускаете сервер на время работы, пользуетесь чатом или API и останавливаете его, когда закончили.

Что такое локальная модель

Большинство современных языковых моделей выпускаются с открытыми весами. Файл модели можно скачать, запустить без подписки и управлять им через Ollama, llama.cpp или веб-интерфейс вроде Open WebUI. Облачный сервис принимает запросы на своих серверах, а локальная модель отвечает на вашем оборудовании: данные никуда не уходят, пока вы сами их не отправили.

Картинки и видео работают по той же схеме. Stable Diffusion и FLUX запускаются в Forge и ComfyUI, видео Wan — в ComfyUI или Wan2GP, а речь расшифровывает Whisper. У каждой задачи свой объём памяти, но правило одно: модель должна целиком помещаться в видеопамять. Если не помещается, часть работы уходит в оперативную память, и всё идёт во много раз медленнее.

Облако или своё железо

У облачного API есть понятные плюсы: не нужно думать о железе, а самые крупные модели доступны сразу. Но есть и обратная сторона. Запрос уходит на чужой сервер, стоимость растёт вместе с объёмом работы, а условия могут измениться без вашего участия. Локальная модель требует вложений в железо или аренду, зато даёт полный контроль: вы сами выбираете версию, настройки и момент обновления.

Практическое правило такое. Если задача касается личных или коммерческих данных, которые нельзя передавать сторонним сервисам, запускайте модель у себя. Если нужна самая сильная модель для разовой задачи, облачный API часто проще. Многие команды совмещают оба подхода: локальная модель для черновиков и чувствительных данных, облачная — для сложных случаев.

Сколько видеопамяти нужно

Веса модели целиком лежат в видеопамяти. Для языковой модели в 4-битной квантизации (Q4) их объём примерно равен числу миллиардов параметров, умноженному на 0,5 ГБ. К этому добавьте около 20% на контекст и служебные буферы. Q4 — самый частый вариант в Ollama, и таблица ниже считает именно его.

Цифры даны для короткого контекста. Длинный чат или большой документ добавляют память под KV-кэш. Подробный расчёт с формулами есть в гайде сколько видеопамяти нужно для LLM.

Что запустить: текст, код, картинки, видео и речь

Для каждой задачи есть свой набор моделей и готовый шаблон. Шаблон уже настроен, поэтому драйверы ставить и окружение собирать не нужно.

Для русского текста начните с Qwen или Gemma. Модели одного размера заметно отличаются по качеству языка, поэтому проверьте ответы на своих задачах.

Квантизация: что это и на что влияет

Квантизация снижает точность весов, чтобы модель занимала меньше памяти. Q4 — самый распространённый компромисс: качество обычно близко к исходному, а файл в три–четыре раза меньше fp16. Q8 почти не теряет в качестве, но занимает в полтора–два раза больше Q4. Варианты ниже 4 бит экономят ещё больше памяти, однако ответы заметно хуже, и для рабочих задач их лучше не брать.

Свой ПК или аренда

Своя видеокарта выгодна, если вы работаете с моделями каждый день и готовы платить за железо и электричество. Аренда подходит, когда нужна карта мощнее имеющейся или работа случается от случая к случаю. Сервер на gpu.nz тарифицируется поминутно из баланса. Пока сервер остановлен, GPU не тарифицируется, а диск оплачивается как хранилище, пока сервер не удалён.

Для первого знакомства хватит карты на 24 ГБ: на ней помещаются модели 27–34B в Q4. Актуальные цены смотрите в каталоге: стоимость минуты зависит от модели карты. Как снизить расходы, описано в гайде как сэкономить на аренде GPU.

Когда своей карты уже не хватает

• Модель не помещается даже в Q4: нужна карта на 48–80 ГБ, например RTX A6000, L40S или A100.
• Нужен длинный контекст: длинные документы растят память под KV-кэш, поэтому запас стоит закладывать заранее.
• Модель нужна нескольким людям сразу: для параллельных запросов удобнее сервер с API, например vLLM.
• Видеомодели быстро съедают память: Wan 2.2 на 16 ГБ работает, но с ограничениями по длине ролика и разрешению.

Что проверить до покупки или аренды

• Объём видеопамяти под нужную модель и квантизацию, с запасом на контекст.
• Оперативная память: если модель не помещается в видеопамять, часть слоёв уходит в RAM. Для экспериментов с крупными моделями берите 32 ГБ оперативной памяти и больше.
• Место на диске: одна модель 70B весит около 43 ГБ, а модели быстро копятся. Запас в сотню гигабайт — разумный минимум.
• Драйвер NVIDIA: для Ollama на ПК нужен свежий драйвер, а его работу проверяет команда nvidia-smi.
• Блок питания и охлаждение: мощные карты потребляют много энергии и греются, поэтому сверяйте требования корпуса и блока питания со спецификацией карты.

Как запустить на gpu.nz

1. Выберите карту по таблице памяти. Для моделей 27–34B нужна карта на 24 ГБ.
2. Создайте сервер с шаблоном Open WebUI + Ollama или готовым чатом. Если в поле «Модель» указать имя модели из Ollama, она скачается при первом запуске.
3. Подождите 2–5 минут, пока сервер запустится. Крупные модели скачиваются дольше: файл в 60 ГБ — это 10–30 минут.
4. Откройте интерфейс кнопкой «Открыть» на странице сервера или подключитесь по SSH и скачайте модель командой.

ollama pull qwen3:14b
ollama run qwen3:14b "Объясни, что такое квантизация, в трёх предложениях"
ollama ps

Команда ollama ps показывает, сколько памяти занимает модель и работает ли она на GPU. Если в колонке процессора есть доля CPU, модель не поместилась в видеопамять: возьмите более компактную квантизацию или карту побольше. Диск тоже нужен с запасом: веса 70B занимают около 43 ГБ, а Ollama хранит все модели на диске сервера.

Частые ошибки новичков

• Считают только веса и забывают про контекст. Модель помещается в память на первом сообщении, а на длинном документе начинает тормозить или падает.
• Берут полную точность ради качества и не могут запустить модель на своей карте. Для чата обычно достаточно Q4 или Q8.
• Ждут, что модель на 70B поедет на карте в 24 ГБ. Без выгрузки в оперативную память она работает медленно или не запускается.
• Не проверяют, работает ли модель на видеокарте. Команда ollama ps сразу покажет, где идут вычисления.

Приватность

Модель на вашем ПК не отправляет запросы никому. Аренда устроена иначе: сервер стоит в дата-центре, а не у вас дома, и принадлежит другому владельцу. Доступ к интерфейсам защищён токеном, SSH открывается по вашему ключу. Для секретных данных всё же лучше держать модель дома. Если работаете на сервере, скачайте результаты и удалите сервер, когда он больше не нужен.

Итог простой: если видеокарта дома подходит по памяти, запускайте модель локально. Если нет, аренда даёт ту же модель на нужной карте без покупки железа, и вы платите только за минуты работы.