Кратко:
- Шардирование - горизонтальное масштабирование данных, разбиение на шарды и размещение на разных хостах.
- Плюсы: обходит технические ограничения, ускоряет доступ к данным для пользователей из конкретного региона, выполняет юридические требования.
- Недостатки: неправильно шардировать данные, могут возникнуть горячие точки, шардирование в MongoDB доступно только для кластеров с версией не ниже 4.0.
- В MongoDB шардирование поддерживается по умолчанию, части коллекций размещаются на разных хостах.
- Данные на шардах должны быть не связаны между собой, выбор ключа шардирования влияет на удобство работы с коллекцией и производительность.
- Шардирование имеет смысл, если данных много или они неоднородны и делятся на категории.
- Сервис поддерживает две основные стратегии: по хешу и по диапазону значений.
- Отменить шардирование невозможно, для восстановления до шардирования нужно сделать резервную копию и создать новый кластер.
Шардирование
Шардирование — это горизонтальное масштабирование данных, при котором данные разбиваются на шарды (т. е. части) и размещаются на разных хостах кластера. Нагрузка на БД при этом распределяется по хостам, что позволяет добиться большей производительности системы, чем если бы она была расположена на одном мощном сервере. Это особенно важно, если данных или запросов к ним очень много.
Плюсы шардирования в том, что оно позволяет:
- Обойти технические ограничения. Если БД работает на пределе производительности — можно разбить её на части и распределить запросы на чтение между ними.
- Ускорить доступ к данным для пользователей из конкретного региона. Например, международные соцсети могут хранить контент на русском языке на серверах ближе к России.
- Выполнить юридические требования. Например, хранить конфиденциальные данные на шарде, публичный доступ к которому отключен.
-
Повысить доступность. Если БД находится на одном нешардированном хосте, то его выход из строя приведет к потере всех данных. Если же БД шардирована, то при отказе одного шарда все данные на других остаются доступными.Для шардов можно дополнительно настроить репликацию. Так вы обойдетесь без потерь, если сервер выйдет из строя. А размещение реплик шарда в разных зонах доступности даст вам отказоустойчивую систему.
-
Ускорить запросы. Они могут выполняться медленнее из-за того, что конкурируют за ресурсы сервера. Шардирование устраняет конкуренцию, исполняя запросы параллельно на разных серверах.
Каким бы замечательным ни было шардирование, у него есть и недостатки:
- Правильно шардировать данные, т. е. разбить их на части — непростая задача. Если вы сделаете это неверно, то мощности серверов будут использоваться нерационально. Например, потребуется много межсерверных запросов.
- Из-за несбалансированного распределения данных между шардами появляются горячие точки — разделы БД, к которым идет намного больше обращений по сравнению с остальными. Запросы к горячим точкам обрабатываются заметно медленнее.
Шардирование в MongoDB
В MongoDB шардирование коллекций поддерживается по умолчанию — части коллекций MongoDB размещаются на разных хостах кластера. На какой шард попадет фрагмент данных, определяет ключ шардирования.
От выбора ключа зависит удобство работы с коллекцией и производительность. Следует логично распределить данные коллекции по шардам. Данные на шардах не должны быть связаны между собой.
Шардировать данные имеет смысл, если:
- Данных много (коллекция больше 200 ГБ).
- Данные неоднородны и четко делятся на примерно одинаковые по объему данных категории.
- Требования к скорости чтения и записи данных высоки. Шардирование распределит нагрузку по хостам, чтобы обойти технические ограничения.
Шардирование доступно для кластеров MongoDB с версией не ниже 4.0. Оно происходит с автоматическим созданием служебных хостов mongos (для маршрутизации запросов пользователей) и mongocfg (для хранения конфигурации шардов), которые тарифицируются отдельно от основных хостов БД.
Сервис поддерживает две основные стратегии шардирования данных: - по хешу (ключ шардирования на базе хеша); - по диапазону значений (ranged sharding).
Отменить шардирование кластера невозможно. Чтобы воссоздать кластер до шардирования, придется сделать его резервную копию, а затем из копии создать новый кластер.
Чтобы повысить доступность, составляйте каждый шард из трёх или более хостов БД.