Шард

Как работает Шард

Этот принцип базируется на маршрутизации запросов: Приложение отправляет SQL-запрос, а Слой шардирования определяет целевой узел. Маршрутизатор использует алгоритм хеширования от ключа распределения (например, user_id), чтобы сопоставить запись с конкретным сервером. Запрос направляется только на нужный фрагмент, исключая сканирование всей таблицы целиком.

Фрагмент хранит данные в собственном хранилище и обрабатывает операции параллельно с другими узлами. При изменении объёма данных система выполняет ребалансировку: часть записей перемещается на новые серверы для выравнивания нагрузки. Локальные индексы внутри каждого сегмента ускоряют поиск, так как они строятся только на подмножестве данных, а не на всём массиве.

Зачем нужен Шард

Основная цель внедрения — преодоление аппаратных ограничений одного сервера, когда объём данных превышает ёмкость диска или оперативной памяти. Для интернет-маркетинга это критично в системах реального времени: биддерах рекламных аукционов или обработчиках событий Веб-аналитики, где требуется обработка миллионов транзакций в секунду.

Механизм повышает Отказоустойчивость: при выходе из строя одного узла остальные продолжают обслуживать пользователей без прерывания сервиса. Также снижается стоимость хранения, так как можно использовать кластер из недорогих стандартных серверов вместо дорогого монолитного оборудования. Это обеспечивает линейное масштабирование производительности.

Существует два основных метода распределения данных: по диапазону и по хешу. Первый вариант делит записи по непрерывным интервалам (например, по дате создания), что удобно для временных рядов, но создаёт риск «горячих» зон при неравномерном потоке данных. Второй метод распределяет записи случайным образом через хеш-функцию, обеспечивая идеальный баланс нагрузки, но усложняя запросы к диапазонам значений.

Второй критерий классификации — Стратегия репликации. Сегмент может иметь полную копию на каждом узле (мастер-мастер) для максимальной доступности, либо хранить уникальные данные с отдельными репликами для резервного копирования. Репликация повышает надёжность, но требует синхронизации состояния между узлами, что увеличивает задержки при записи.

Где используется Шард

Технология применяется в высоконагруженных Веб-приложениях, требующих обработки миллионов записей в секунду. В маркетинге она используется в платформах управления кампаниями для хранения истории кликов, показов и конверсий. В электронной коммерции сегментирование помогает управлять огромными каталогами товаров и историей заказов миллионов клиентов.

Аналитические движки, такие как ClickHouse или Cassandra, активно используют эту архитектуру для параллельной обработки телеметрии. Социальные сети применяют её для хранения сообщений пользователей, распределяя нагрузку по географическим регионам. CRM-системы разбивают клиентскую базу по сегментам для ускорения доступа к персональным данным.

Ниже приведён пример конфигурации маршрутизации запросов в типичной распределённой системе. Приложение определяет, какой узел отвечает за конкретный идентификатор пользователя, используя модульную арифметику для хеширования.

function getShardNode(userId) {
  // Получаем список активных нод из конфигурации
  const nodes = ['node-1', 'node-2', 'node-3'];
  
  // Вычисляем индекс узла через хеш ID
  const hash = userId % nodes.length;
  
  return nodes[hash];
}

// Пример вызова: запрос идёт на node-1
const target = getShardNode(100500);
console.log(`Запрос направлен на: ${target}`)