
Главное
- Локальная LLM работает на вашем сервере: запросы не уходят провайдеру.
- Три контура: облачная подписка, облачный API и собственный сервер; выбор зависит от данных и объёма.
- На малых объёмах облако дешевле; локальный контур оправдан на объёме или при запрете на передачу данных.
- Конфигурация считается по памяти под веса и KV-кэш, а не «по числу параметров».
- Локальная модель часто слабее облачной на сложных задачах; гибрид — рабочий компромисс.
Содержание
Что такое LLM и как её применяют в бизнесе?
LLM — большая языковая модель, обученная предсказывать текст. В бизнесе она решает прикладные задачи: отвечает на вопросы, извлекает поля из документов, классифицирует обращения, готовит черновики. Модель не хранит знания компании; нужные данные подаются в контексте или находятся поиском. Архитектура таких систем описана в документации Microsoft.
Применение почти всегда строится вокруг текста. Чем больше в процессе переписки и документов, тем выше шанс, что LLM даст эффект. Чем жёстче правила и расчёты, тем чаще достаточно обычной автоматизации.
Где LLM полезна
Типовые задачи: ответы по регламентам, разбор входящих, суммаризация, перевод, черновики коммерческих предложений, сверка формулировок. Везде, где человек читает и переписывает текст, модель может ускорить первый шаг.
Где LLM не нужна
Если правило однозначное, обычная автоматизация дешевле и надёжнее. Если данных нет, модель будет угадывать. Если решение юридически значимое, его принимает человек. Границы применения фиксируются до пилота.
Облако или свой сервер: три контура
Выбор контура — первое решение, которое влияет на стоимость, скорость и риски. Контуры различаются тем, где обрабатываются данные и как считается цена.
| Критерий | Облачная подписка | Облачный API | Свой сервер |
|---|---|---|---|
| Данные | У провайдера | У провайдера | В вашем контуре |
| Оплата | Фиксированная подписка | По токенам | Оборудование + обслуживание |
| Старт | Часы | Часы | Недели |
| Качество | Зависит от тарифа | Высокое | Зависит от модели |
| Автономность | Нет | Нет | Полная |
| Масштабирование | Смена тарифа | Лимиты API | Докупить железо |
Подписка удобна для типовых задач без интеграций. API даёт гибкость и оплату по факту. Свой сервер нужен, когда данные не выходят наружу или объём стабильно высокий. Гибрид оставляет чувствительные запросы внутри, а остальные отправляет в облако.
Как выбрать контур
Сначала требования к данным, затем объём и бюджет. Если запрет на передачу данных жёсткий, остаётся локальный контур. Если объём небольшой, облако дешевле. Если объём растёт, считается точка перелома.
Локальные модели против облачных: честное сравнение
Сравнение зависит от задачи. На сложных инструкциях облачные модели обычно сильнее; на типовых операциях локальные догоняют. Скорость тоже различается: на извлечении знаний из одного фрагмента локальный стенд дал 9,3 секунды против 70,7 секунды у облачного вызова. Это замер на конкретной задаче, а не универсальный бенчмарк.
| Критерий | Локально | Облако |
|---|---|---|
| Данные | Не покидают контур | Уходят провайдеру |
| Скорость на объёме | 57 статей в час на двух GPU | Зависит от лимитов |
| Стоимость | Капитальные + обслуживание | Переменная, по токенам |
| Качество на сложных инструкциях | Ниже | Выше |
| Автономность | Полная | Зависит от API |
| Обновление модели | Своими силами | У провайдера |

Честный вывод: локальный контур проигрывает облаку в качестве на сложных задачах и требует обслуживания. Его преимущества — данные, автономность и предсказуемая стоимость на объёме. Не покупайте сервер, если задача решается API и данные не чувствительные.
Какие модели можно запускать у себя?
На локальном сервере запускаются открытые модели: Qwen, Llama, Mistral, gpt-oss и их производные. Выбор зависит от языка, задачи и памяти. Модели меньшего размера работают быстрее, но хуже держат сложные инструкции; крупные требуют больше видеопамяти.
| Класс | Для чего | Ограничение |
|---|---|---|
| 7–14B | Ассистент, классификация, извлечение | Сложные рассуждения даются хуже |
| 27–36B | RAG, генерация контента, разбор документов | Нужно 2 GPU или сильная квантизация |
| 70B | Сложные задачи, близко к облаку | 4 GPU и урезанный контекст |
Квантизация уменьшает вес модели за счёт точности. Она позволяет запустить крупную модель на меньшей памяти, но качество падает. Выбор фиксируется тестами на ваших примерах, а не по названию модели.
Лицензии открытых моделей различаются: часть разрешает коммерческое использование, часть — с ограничениями. Перед запуском проверяется лицензия и условия распространения. Это юридическая проверка, а не техническая.
Контекст и память
Контекст определяет, сколько текста модель держит одновременно. Длинный контекст съедает память и замедляет генерацию. На стенде с контекстом около 127 тыс. токенов длинные RAG-запросы заметно снижают скорость, поэтому контекст ограничивают.
Сколько стоит инференс?
Стоимость складывается из оборудования, сборки, электричества, обслуживания и амортизации. Формула: TCO = оборудование + сборка и настройка + электричество + обслуживание + амортизация. Сравнение с облаком — TCO / число задач за период против стоимости токенов на тот же объём.
Для облака полезно считать по формуле C = (Tвх / 10⁶) × Pвх + (Tвых / 10⁶) × Pвых. По прайсу Yandex Cloud на 2025 год Lite стоит 200 ₽ за 1 млн токенов, Pro — 1 200 ₽; в асинхронном режиме — 100 и 600 ₽. Для 100 000 обращений при 700 входных и 300 выходных токенах выходит около 20 000 ₽ на Lite и 120 000 ₽ на Pro в месяц.
На малых объёмах облако дешевле. Локальный сервер окупается при стабильной загрузке и чувствительных данных. Точка перелома зависит от длины запросов, числа обращений и стоимости оборудования.
Пример расчёта: 3 000 обращений в день при 1 000 токенов на запрос дают около 90 млн токенов в месяц. На Lite это порядка 18 000 ₽, на Pro — около 108 000 ₽. Если сервер загружен равномерно и обслуживает несколько задач, капитальные затраты распределяются между ними.
Сценарии для бизнеса
Ассистент по регламентам
Локальная модель отвечает по внутренним инструкциям со ссылкой на пункт. Данные не покидают контур. Такой сценарий описан в материале о RAG-системе по базе знаний.
Разбор документов
Счета, акты и заявки разбираются на поля и сверяются с учётной системой. Работает в изолированной сети. Ошибки остаются в черновике и проверяются человеком.
Контентный конвейер
Собственный проект студии. Конвейер выпустил 54 статьи объёмом 137,5 тыс. слов для двух корпоративных сайтов: 783 подзаголовка, 329 вопросов в FAQ и ноль совпадений по последовательностям из восьми слов. Часть операций выполнялась на локальном стенде.
Классификация обращений
Модель относит обращение к теме и приоритету, определяет язык и тональность. Результат передаётся в CRM или очередь поддержки. Для чувствительных данных используется локальный контур, для остальных — облако. Классификация не заменяет маршрутизацию: правила получателя задаются отдельно.
Помощь аналитику
Модель собирает черновик сводки по документам и таблицам, помечает противоречия и оставляет ссылки на источники. Аналитик проверяет выводы и принимает решение. Сценарий экономит время на подготовке, но не заменяет проверку данных.
Обучение персонала
Модель отвечает новичкам по внутренней базе и готовит тестовые задания. Актуальность зависит от обновления корпуса, а не от модели. Если нужен не ответ, а действие в системе, задача переходит к ИИ-агентам.
Требования к данным и 152-ФЗ
Локальный контур снимает передачу данных провайдеру, но не отменяет требования к обработке. При сборе персональных данных граждан РФ оператор обязан использовать базы данных, находящиеся в РФ (ст. 18 ч. 5 152-ФЗ). Согласие субъекта должно быть конкретным, предметным, информированным, сознательным и однозначным (ст. 9 ч. 1).
Схема обработки фиксируется в договоре и согласуется с ответственным за ПДн. Нужны разграничение доступа, журналирование и резервное копирование. Локальность не заменяет организационные меры.
Ошибки
Покупка сервера без расчёта
Мощная карта не помогает, если не хватает памяти под контекст. Сначала расчёт, потом оборудование.
Ожидание качества облака
Локальная модель на сложных задачах часто слабее. Это ограничение, а не дефект настройки.
Нет мониторинга
Без метрик не видно деградации: температуры, очереди, времени ответа. Мониторинг настраивается при запуске.
Нет резервного копирования
Модели, конфигурации и индексы теряются вместе с диском. Бэкап проверяется до передачи.
Контур без владельца
После запуска модель и корпус устаревают. Нужен ответственный за обновления и разбор ошибок.
Частые вопросы
Чем локальная LLM отличается от облачной?
Локальная модель работает на вашем сервере и не отправляет запросы провайдеру. Облачная доступна по API или подписке и обычно сильнее на сложных задачах. Выбор зависит от требований к данным, объёма и бюджета. Локальный контур требует оборудования и обслуживания, зато не зависит от лимитов API.
Когда локальная LLM выгоднее облака?
Когда объём задач стабильно высокий, данные чувствительные или нужна автономность. На малых объёмах облако дешевле. Точка перелома считается по TCO и стоимости токенов на тот же объём, а не по ощущениям. Расчёт включает электричество, обслуживание и амортизацию оборудования. Это зависит от сценария и модели.
Хватит ли одной видеокарты?
Зависит от модели и контекста. Для моделей 7–14B часто достаточно 24 ГБ. Для 27–36B нужны две карты или сильная квантизация. Для 70B обычно требуются четыре карты и урезанный контекст. Расчёт ведётся по памяти под веса и KV-кэш, а не по числу параметров модели. Это разные инструменты с разными задачами.
Какие модели лучше для русского языка?
Подходят Qwen, Llama, Mistral, gpt-oss и их производные. Качество на русском зависит от конкретной версии и дообучения. Проверка на ваших примерах важнее названия: сравнивайте на одинаковых запросах и одинаковом контексте. Для закрытого контура выбирайте модели с понятной лицензией. Это снижает юридические риски.
Можно ли дообучить локальную модель?
Да, но дообучение требует данных, оборудования и времени. Часто достаточно RAG: он обновляется переиндексацией и не меняет веса. Дообучение оправдано для стиля, формата и специфического поведения, а не для фактов. Для фактов достаточно RAG, для стиля — дообучение, для действий — агент.
Что с электропитанием и шумом?
Сервер с несколькими GPU требует отдельной линии и охлаждения. В офисе может быть шумно; для серверной нужны стойка и вентиляция. Это учитывается на этапе подбора конфигурации и влияет на смету. Шум и питание влияют на выбор помещения и требуют отдельной линии.
Сколько стоит запуск?
Подбор и запуск на вашем оборудовании — от 120 000 ₽ и 1–3 недели. Сборка под ключ с обучением — от 300 000 ₽ плюс оборудование по смете. Сопровождение — от 25 000 ₽ в месяц. Цены оборудования не публикуются.
Итоги
- Локальная LLM работает в вашем контуре и не отправляет данные провайдеру.
- Три контура различаются данными, ценой и автономностью.
- На малых объёмах облако дешевле и качественнее.
- Конфигурация считается по памяти под модель и контекст.
- Локальные модели требуют обслуживания и мониторинга.
- Дообучение и RAG решают разные задачи.
- Гибрид — рабочий компромисс для чувствительных данных.
Если нужен локальный контур, студия подбирает конфигурацию, собирает сервер и запускает inference-сервер: подробности — на странице GPU-сервер для локальных LLM.