Главное
- Конфигурация считается под модель, контекст и число потоков, а не «чем мощнее, тем лучше».
- Локальный контур закрывает данные, автономность и предсказуемую стоимость на объёме.
- В услугу входят аудит задачи, подбор, сборка, ОС и драйверы, inference-сервер, тесты и документация.
- На малых объёмах облако дешевле; это проверяется расчётом до покупки оборудования.
- Подбор и запуск — от 120 000 ₽; сборка под ключ с обучением — от 300 000 ₽ плюс оборудование по смете.
Содержание
Зачем организации свой GPU-сервер?
Данные и требования
Локальный контур нужен не только из-за 152-ФЗ. Коммерческая тайна, требования заказчика и внутренние регламенты часто запрещают передачу текста внешнему провайдеру. При локальной обработке запросы остаются на вашем сервере, но это не отменяет разграничение доступа, журналирование и резервное копирование.
Экономика на объёме
Стоимость облака растёт вместе с числом запросов, стоимость сервера — нет. На малых объёмах API дешевле: не нужно покупать железо, платить за электричество и обслуживание. Точка перелома считается по формуле, а не по ощущению.
Автономность и задержка
Локальная модель не зависит от доступности API и сетевых маршрутов. Задержка предсказуема, потому что нет внешнего плеча. Для производств и закрытых сетей это важнее экономии: внешний сервис может быть недоступен по причинам, которые вы не контролируете.
Какие задачи закрывает локальная LLM?
Локальная модель работает с текстом и документами. Она не заменяет АСУТП, MES и учётную систему, а стоит рядом и берёт на себя языковой слой.
| Задача | Что делает модель | Ограничение |
|---|---|---|
| Ассистент по регламентам | Отвечает со ссылкой на пункт документа | Нужен обновляемый корпус |
| Разбор документов | Извлекает поля, классифицирует | Требуется проверка человеком |
| Поиск по документации | Находит нормы и описания | Качество зависит от индекса |
| Черновики текстов | Готовит КП, ТЗ, описания | Обязательна редактура |
| Обучение персонала | Отвечает новичкам по базе | Нужны актуальные материалы |
Не стоит гонять локально задачи, где облако объективно сильнее: сложные рассуждения, редкие языки, длинные многошаговые инструкции. Если нужен не текстовый слой, а действия в системах, это задача для ИИ-агентов для бизнеса. Локальная модель проигрывает на качестве, и это нужно признавать до покупки.
Как подбирается конфигурация?
Подбор идёт по цепочке: задача → модель → нужный контекст → квантизация → память под веса и KV-кэш → число параллельных потоков → CPU, RAM, диски → сеть → запас на рост. Считать «параметры модели» недостаточно: важна суммарная память под веса и кэш на рабочем контексте.
Модель и контекст
Модель выбирается под язык, задачу и допустимое качество. Контекст определяет, сколько текста модель держит одновременно; длинный контекст съедает память и замедляет генерацию. На стенде с контекстом 127 488 токенов длинные RAG-запросы заметно снижают скорость, поэтому уровни контекста приходится ограничивать.
Квантизация
Квантизация уменьшает вес модели за счёт точности. Сильная квантизация позволяет запустить большую модель на меньшей памяти, но качество падает. Выбор фиксируется тестами на ваших задачах, а не по обещаниям бенчмарков.
Память и потоки
Память делится на веса модели и KV-кэш. Модель объёмом 24,8 ГБ не помещается в карту с 22,5 ГБ: нужен второй GPU, меньшая квантизация или урезанный контекст. Два потока дают прирост, но делят память и пропускную способность.
Диски, сеть и запас
Модели и кэш быстро растут, поэтому NVMe желателен. Если inference-сервер стоит отдельно от приложений, нужна достаточная сеть. Запас на рост обязателен: сегодня одна модель, завтра — три сценария и индекс.
Типовые конфигурации
| Класс | Для чего | Ограничения |
|---|---|---|
| Начальная, 1 GPU 24 ГБ | Модели 7–14B, ассистент, классификация, извлечение | Не для 30B+ и длинного контекста |
| Рабочая, 2 GPU 44–48 ГБ | 27–36B в квантизации, RAG, генерация контента | 70B — только с сильной квантизацией и урезанным контекстом |
| Под нагрузку, 4 GPU 96 ГБ+ | 70B, несколько потоков и сценариев | Стоимость, питание, охлаждение, шум |
Конкретные бренды и цены карт в таблице не приводятся: они зависят от поставки и сметы. Класс определяется задачей, а не желанием купить «самую мощную».
Что входит в услугу
- Аудит задачи: модели, контекст, число потоков, требования к данным.
- Подбор конфигурации: расчёт памяти, спецификация, запас на рост.
- Поставка или проверка оборудования: совместимость, питание, охлаждение.
- Сборка: корпус, карты, диски, сеть, проверка температур.
- ОС и драйверы: стабильная версия, изоляция, обновления.
- Inference-сервер: загрузка моделей, API, очереди, мониторинг.
- Тесты: скорость, качество, параллельные потоки, отказоустойчивость.
- Интеграция: подключение к CRM, 1С, порталу или базе знаний.
- Обучение и документация: запуск, обновление, диагностика.
Этапы и сроки
| Этап | Что делаем | Срок | Результат |
|---|---|---|---|
| Аудит | Задача, модель, контекст, ограничения | 2–4 дня | Расчёт памяти и требований |
| Подбор | Спецификация, поставка, совместимость | 3–7 дней | Конфигурация и смета |
| Сборка | Монтаж, ОС, драйверы, сеть | 2–5 дней | Работающее железо |
| Запуск | Inference-сервер, модели, API | 2–4 дня | Доступный endpoint |
| Тесты | Скорость, качество, потоки | 2–3 дня | Отчёт с замерами |
| Интеграция | Подключение к системам | 3–7 дней | Сквозной сценарий |
| Обучение | Документация и передача | 1–2 дня | Команда умеет обслуживать |
Срок зависит от поставки оборудования. Подбор и запуск на вашем железе занимают 1–3 недели; сборка под ключ — дольше, потому что включает поставку.
Сколько стоит свой сервер?
| Вариант | Что входит | Цена | Срок |
|---|---|---|---|
| Подбор и запуск | Аудит, расчёт, спецификация, запуск inference-сервера на вашем оборудовании | от 120 000 ₽ | 1–3 недели |
| Сборка под ключ | Поставка, сборка, ОС, драйверы, тесты, обучение | от 300 000 ₽ + оборудование по смете | 3–6 недель |
| Сопровождение | Обновления, мониторинг, резервное копирование | от 25 000 ₽/мес | — |
Цены оборудования не публикуются: они зависят от поставки и конфигурации. Стоимость услуги считается отдельно от железа. Сопровождение не входит в стоимость проекта.
Общая стоимость владения считается так: TCO = оборудование + сборка и настройка + электричество + обслуживание + амортизация. Сравнение с облаком — TCO / число задач за период против стоимости токенов на тот же объём. Расчёт до покупки обязателен: иначе сервер — ставка на удачу.
Локально против облака
| Критерий | Локально | Облако |
|---|---|---|
| Данные | Не покидают контур | Уходят провайдеру |
| Стоимость | Капитальные + обслуживание | Переменная, по токенам |
| Старт | Недели, включая поставку | Часы |
| Качество на сложных задачах | Ниже | Выше |
| Автономность | Полная | Зависит от API |
| Масштабирование | Докупить железо | Изменить тариф |
Честный вывод: на малых объёмах облако дешевле и качественнее. Локальный контур оправдан, когда данные чувствительные, объём стабильно высокий или нужна автономность. Мы не продаём сервер там, где достаточно API.
Ошибки и ограничения
Купили самую мощную карту
Мощная карта не решает задачу, если не хватает памяти под контекст или упирается питание. Сначала расчёт, потом покупка. Иначе железо стоит, а модель не запускается.
Не учли контекст
Длинный контекст съедает память и скорость. Конфигурация, рассчитанная на короткие запросы, не выдержит RAG с большими фрагментами. Запас по памяти обязателен.
Нет мониторинга
Без метрик не видно деградации: температура, ошибки, очередь, время ответа. Мониторинг настраивается при запуске, а не после инцидента.
Нет резервного копирования
Модели, конфигурации и индексы теряются вместе с диском. Бэкап и восстановление проверяются до передачи.
Ждут качества облака
Локальная модель на тех же задачах часто слабее. Это ограничение, а не дефект настройки. Если качество критично, гибридная схема разумнее.
Сервер без задачи
Покупка «на будущее» упирается в простой и устаревание. Сначала сценарий и метрика, потом конфигурация.
Пример из практики
Собственный стенд — рабочая система, а не полигон. Две карты с суммарными примерно 44 ГБ видеопамяти, две модели в llama.cpp и Ollama, round-robin по GPU. Партия из 99 статей прошла за 103 минуты без ошибок — около 57 статей в час, в среднем 62,7 секунды на статью.
Отдельно мы замерили предел: длинный RAG-контекст на двух картах замедляет генерацию, поэтому уровни контекста приходится урезать. Модель 36B занимает 24,8 ГБ и не помещается в одну карту с 22,5 ГБ. Этот опыт — причина, по которой мы сначала считаем конфигурацию под задачу, а потом советуем железо.
Частые вопросы
Данные точно не уйдут в облако?
При локальном контуре запросы обрабатываются на вашем сервере. Но нужны разграничение доступа, журналирование и резервное копирование; мы настраиваем контур целиком. Если часть задач допускает облако, гибридная схема может быть дешевле и качественнее. Для чувствительных документов локальный контур — обязательное условие.
Когда свой сервер выгоднее облака?
Когда объём задач стабильно высокий, данные чувствительные или нужна автономность. На малых объёмах облако дешевле; расчёт делаем до покупки. Точка перелома зависит от длины запросов и числа обращений. Для расчёта нужны длина запроса и число обращений в месяц; это зависит от сценария.
Потянет ли одна карта модель 70B?
В сильной квантизации и с урезанным контекстом — с потерей качества и скорости. Обычно нужны две-четыре карты; считаем по памяти под веса и KV-кэш. Обещание «70B на одной карте» без оговорок вводит в заблуждение. Точный ответ даёт расчёт памяти под веса и кэш.
Что с электропитанием и шумом?
Сервер с несколькими GPU требует отдельной линии и охлаждения; в офисе может быть шумно. Это учитывается на этапе подбора. Для серверной нужны стойка, вентиляция и доступ к питанию, лучше отдельная линия. Питание и охлаждение проверяются до сборки, это часть подбора.
Кто обслуживает сервер?
Мы запускаем и передаём документацию; сопровождение — отдельная услуга: обновления, мониторинг, резервное копирование. Обучение команды входит в сборку под ключ. Гарантия на железо зависит от поставщика. Регламент обновлений и окно обслуживания согласуются заранее: мы фиксируем, кто и когда обновляет модели.
Можно ли потом перейти в облако?
Да, если inference-слой сделан через совместимый API. Мы проектируем контур так, чтобы провайдера можно было заменить. Это снижает зависимость от одного поставщика и упрощает миграцию. Совместимый API — главное условие переносимости: достаточно заменить endpoint в приложении и проверить формат ответов.
Сколько занимает запуск?
Зависит от поставки железа и интеграций. Подбор и запуск на вашем оборудовании — 1–3 недели, сборка под ключ — 3–6 недель. Точный срок фиксируем после аудита задачи и спецификации. Поставка оборудования влияет на срок сильнее всего; аудит и спецификация занимают несколько дней.
Итоги
- Конфигурация считается под модель, контекст и потоки, а не по мощности карты.
- Локальный контур нужен для данных, автономности и предсказуемой стоимости на объёме.
- На малых объёмах облако дешевле; это проверяется расчётом.
- В услугу входят подбор, сборка, inference-сервер, тесты и документация.
- Подбор и запуск — от 120 000 ₽, сборка под ключ — от 300 000 ₽ плюс оборудование.
- Мониторинг, бэкап и запас по памяти обязательны.
- Локальная модель часто слабее облачной; гибрид — рабочий компромисс.
Начинать стоит с расчёта: какая модель, какой контекст, сколько потоков и что с данными. Если расчёт показывает, что хватает API, мы так и говорим. Подключение сервера к учётным системам — задача интеграции сайта с 1С.
Как начать
Пришлите задачу, модель и требования к данным, а также сведения о закрытом контуре и наличии оборудования. Ответим в течение рабочего дня: нужен ли сервер, какая конфигурация подойдёт и сколько это займёт.
Что войдёт в оценку: модель и контекст, число потоков, требования к данным, наличие железа, интеграции и требования к шуму и питанию.
Телефон: 8 (917) 749-78-98. Email: maksim@nabiullin.com. Офис: Уфа, ул. Ветошникова, 99, оф. 514. Работаем по России.