Что такое локальная нейросеть

Локальная нейросеть — это языковая модель, которая запущена на вашем оборудовании: на рабочем компьютере или на сервере компании. Запросы и документы обрабатываются внутри, во внешний сервис ничего не отправляется. Так можно работать с моделями, у которых опубликованы веса, то есть сама модель доступна для скачивания. В технических текстах такую модель часто называют локальной LLM: от английского large language model, большая языковая модель.

Есть два очень разных случая. На своём ПК человек ставит программу, скачивает модель и работает с ней сам, это подходит для личных задач и экспериментов. На сервере компании модель обслуживает многих сотрудников, система вокруг неё ищет по документам компании и учитывает права доступа, и это уже инфраструктурный проект.

Статей про первый случай много. Здесь в основном про второй: что нужно компании, чтобы данные не выходили за контур.

Локальная нейросеть: ПК или сервер компании
  • На своём ПК
    • Один пользователь
    • Программа и скачанная модель
    • Подходят небольшие модели
    • Для личных задач и проб
  • На сервере компании
    • Много сотрудников одновременно
    • Права доступа и журнал
    • Поиск по документам компании
    • Нужны оборудование и обслуживание

Когда компании нужна локальная нейросеть

Своя модель обычно оправдана, когда данные нельзя выпускать наружу, а работа с ними идёт постоянно. Например:

  • договоры, персональные данные сотрудников или клиентов, коммерческая тайна;
  • требования заказчика или регулятора держать данные в своём контуре;
  • большой постоянный объём запросов, при котором своё оборудование может обойтись выгоднее оплаты внешнего сервиса;
  • риск, что внешний сервис станет недоступен, а процесс остановиться не должен.

Локальная модель скорее не нужна, если данные можно обезличить или передавать в российское облако, запросов мало, а самостоятельно обслуживать оборудование некому. Варианты между «всё наружу» и «всё у себя», включая российское облако и шлюз с обезличиванием, разобраны в статье про нейросети и персональные данные.

Что нужно, чтобы запустить локальную нейросеть в компании

Для работы нужны четыре части: оборудование, модель, программа для запуска и обвязка вокруг модели. Модель среди них часто не самая трудная часть.

Из чего состоит локальная нейросеть в компании
  1. ОборудованиеСервер с видеокартами под модель и число пользователей
  2. МодельОткрытая, с подходящей лицензией
  3. Программа для запускаОтдаёт модель другим системам
  4. ОбвязкаПоиск по документам, права, журнал

Оборудование

Требования к железу зависят от размера модели, длины текста в запросе и числа людей, которые спрашивают одновременно. Универсальной цифры нет, и её стоит считать под задачу.

Для ориентира по одному компьютеру: LM Studio, популярная программа для запуска моделей на ПК, рекомендует для Windows от 16 ГБ оперативной памяти и от 4 ГБ памяти видеокарты, а на Mac 16 ГБ и больше, причём только с процессорами Apple Silicon. Это минимум для небольших моделей и одного пользователя, а не для сервера на отдел.

Для сервера масштаб другой. Например, у открытой модели GigaChat 3.1 Lightning на Hugging Face скорость замеряли на серверной видеокарте H100 с памятью 80 ГБ при 32 одновременных запросах. Это условия теста разработчика, а не требование: что потянет ваша задача, показывает только прогон на вашем оборудовании.

Учтите и то, о чём часто забывают: резервное оборудование, электричество и охлаждение, а также то, что серверные видеокарты бывает непросто купить. В статье про персональные данные отмечено, что для части задач свой контур почти нерентабелен, поэтому расчёт делают заранее.

Модель

Локально запускают модели с открытыми весами. Среди них есть российские: Сбер публикует модели GigaChat на Hugging Face. Открытые модели выкладывают и другие разработчики, например Qwen и DeepSeek.

При выборе проверьте три вещи:

  • Лицензию. У каждой модели она своя. Например, у GigaChat 3.1 Lightning на странице модели указана лицензия MIT. Условия коммерческого использования читайте в файле лицензии конкретной модели.
  • Русский язык. Модели по-разному пишут и понимают по-русски. Проверяйте на своих текстах.
  • Размер. Модель побольше обычно отвечает лучше, но требует больше памяти и работает медленнее.

Рейтинг «лучших локальных нейросетей» составлять бессмысленно: лидеры меняются за месяцы, а результат зависит от задачи. Как сравнивать модели на своих примерах, описано в статье какую нейросеть выбрать.

Программа для запуска

Программа загружает модель и отдаёт её другим системам по API, чтобы с ней могли работать чат, поиск по документам или агент.

  • Ollama и LM Studio удобны, чтобы попробовать модель на одном компьютере. У Ollama есть HTTP API, поэтому к ней можно подключать свои приложения.
  • vLLM — открытая библиотека для запуска моделей на сервере. В документации она описана как инструмент для быстрого вывода и обслуживания моделей, с API, совместимым с OpenAI. Такой подход обычно выбирают, когда модель должна обслуживать много запросов одновременно.

Выбор программы зависит от нагрузки и того, кто будет её поддерживать. Для пилота хватает простого варианта, для работы отдела чаще нужен серверный.

Обвязка: поиск по документам, права, журнал

Сама по себе модель не знает ваших документов. Чтобы она отвечала по регламентам и договорам, к ней добавляют поиск по документам. Как это устроено, объяснено в статье что такое RAG. Как подготовить материалы, рассказано в статье про базу знаний.

Ещё нужны:

  • Права доступа. Сотрудник должен видеть в ответах только те документы, к которым у него есть доступ.
  • Журнал. Кто что спрашивал и на какие документы опирался ответ.
  • Интерфейс. Чат на портале, в мессенджере или внутри рабочей системы.
  • Резервные копии и мониторинг. Чтобы сбой сервера не остановил работу надолго.

Чего ждать от качества локальной модели

Локальная модель обычно уступает самым сильным облачным моделям, особенно небольшая модель на скромном оборудовании. На простых задачах разница может быть почти незаметной: найти пункт в документе, пересказать, заполнить поля. На сложных рассуждениях, длинных документах и редких темах она бывает заметной.

Что помогает:

  • Хороший поиск по документам. Для ответов по материалам компании качество поиска часто важнее размера модели.
  • Узкая задача. Модель, которая делает одно дело по понятной инструкции, ошибается реже, чем универсальный помощник.
  • Проверка на своих примерах. Возьмите несколько десятков настоящих вопросов с известными ответами и сравните варианты.
  • Показ источника. Если к ответу видно документ и раздел, ошибку легче заметить. Почему модели уверенно ошибаются, написано в статье про галлюцинации нейросетей.
Где разница с облаком обычно меньше, а где больше
  • Разница может быть почти незаметной
    • Найти пункт в документе
    • Пересказать текст
    • Заполнить поля по образцу
  • Разница бывает заметной
    • Сложные рассуждения
    • Длинные документы
    • Редкие темы

Локальный ИИ-ассистент и локальный ИИ-агент

Локальный ИИ-ассистент отвечает сотрудникам по документам компании, а модель и документы остаются на ваших серверах. Это самый частый сценарий для локальной нейросети в компании: регламенты, договоры, материалы проектов.

Локальный ИИ-агент идёт дальше: он не только отвечает, но и выполняет действия в рабочих системах. Для этого модели нужно надёжно выбирать инструменты, а небольшие модели справляются с этим по-разному, поэтому проверка нужна особенно тщательная. Как собрать агента по шагам, описано в статье как создать ИИ-агента.

Локальные нейросети для программирования

Разработчики запускают модели локально, чтобы код не уходил во внешний сервис. Для подсказок и небольших правок это может работать, а на больших проектах локальная модель на обычном компьютере обычно уступает облачным. Если код — коммерческая тайна, а облачные сервисы запрещены, локальная модель на сервере команды может быть разумным компромиссом. Про инструменты и риски разработки с ИИ подробнее в статье про вайбкодинг.

Кто будет обслуживать локальную нейросеть

У облачного сервиса обслуживанием занимается поставщик. У своей модели всё это ваше:

  • оборудование: поломки, замена, резерв;
  • обновления: новые версии моделей и программ, проверка после каждого обновления;
  • безопасность: доступы, сетевые правила, журнал;
  • качество: контрольные вопросы, разбор ошибок, обновление документов в поиске.

Прикиньте заранее, кто из ИТ-службы будет за это отвечать и сколько времени это займёт. Часто именно обслуживание решает, нужна ли своя модель или хватит российского облака.

Как проверить, что локальная нейросеть подойдёт

Начните с пилота на одной задаче, а не с закупки оборудования под всю компанию.

Пилот до закупки оборудования
  1. Одна задачаНапример, ответы по регламентам одного отдела
  2. Контрольные вопросыНесколько десятков с известными ответами
  3. Сравнение моделейНа одних и тех же вопросах
  4. Расчёт нагрузкиСколько людей спрашивает одновременно
  5. Расчёт полной стоимостиСвоя модель или российское облако
  1. Выберите одну задачу и данные, которые нельзя выпускать наружу.
  2. Соберите контрольные вопросы с ответами, которые вы знаете.
  3. Сравните несколько моделей на этих вопросах. Если можно, добавьте для сравнения облачную модель на обезличенных примерах, чтобы видеть разницу в качестве.
  4. Оцените нагрузку: сколько сотрудников и как часто будут спрашивать, какой длины документы.
  5. Посчитайте полную стоимость: оборудование, его обслуживание и людей. Сравните её с российским облаком и решите, что выгоднее: своя модель или облако.

Когда звать подрядчика

Подрядчик нужен, если модель должна работать для многих сотрудников, отвечать по документам с правами доступа и вписываться в требования службы безопасности. Что он должен сделать: оценить ваше оборудование и данные, подобрать модели и архитектуру, настроить поиск по документам и права, проверить качество на ваших вопросах и договориться о поддержке после запуска.

Ассистента по документам компании, Flex Ассистента, можно развернуть на ваших серверах. Сначала оцениваем оборудование, данные и требования к безопасности, затем подбираем модели и архитектуру под вашу инфраструктуру.