Кратко:

• MongoDB - сервис управляемых баз данных с различными особенностями.
• Сервис выполняет задачи администрирования инфраструктуры, такие как создание кластеров, обновление ПО, создание резервных копий и обеспечение отказоустойчивости.
• Yandex Managed Service for MongoDB предоставляет интерактивный интерфейс и драйверы для Python и Java.
• Обновление базы данных происходит вручную, но кластеры обновляются автоматически при выходе новых версий.
• Резервное копирование выполняется автоматически и вручную, с возможностью восстановления из резервной копии.
• Сервис поддерживает мониторинг и логи, а также репликацию и отказоустойчивость.
• Лимиты и тарификация сервиса определены, с максимальным числом шардов и одновременных подключений.

Особенности сервиса управляемых баз данных MongoDB

Ответственность сервиса

Как вы могли увидеть, в работе с различными сервисами управляемых БД в облаке есть много общего. При этом, каждый из сервисов имеет свои особенности, обусловленные как самой СУБД, так и спецификой её реализации в облаке.

Как и в случае реляционных БД, сервис управляемых баз данных MongoDB выполняет задачи, связанные с администрированием инфраструктуры:

• при создании кластера выделяет ресурсы, устанавливает СУБД и создает БД;
• обновляет программное обеспечение;
• автоматически создает резервные копии БД;
• предоставляет инструменты мониторинга хостов и БД;
• обеспечивает репликацию данных между хостами;
• при аварии автоматически переключает нагрузку на резервную реплику.

Вы можете выбирать любые клиенты для MongoDB. Yandex Managed Service for MongoDB гарантирует работу интерактивного интерфейса the mongo Shell, а также драйверов для Python и Java.

Обновление базы данных

Сервис поддерживает мажорные версии MongoDB 5.0 и 6.0. Переходить на новую мажорную версию следует вручную. При выходе новых минорных версий MongoDB кластеры обновляется автоматически. Владельцы кластеров получают оповещение о сроках работ и доступности БД.

Когда разработчики перестают поддерживать версию MongoDB, создание хостов с ней становится невозможным, а кластеры автоматически обновляются до ближайшей поддерживаемой версии. Это происходит через семь дней после оповещения для минорных версий и через месяц для мажорных.

Резервное копирование

Сервис создает резервные копии БД автоматически, а также позволяет делать это вручную. Резервные копии сохраняются в специальном хранилище в сжатом виде. Вы не платите за их хранение, пока размер БД и всех резервных копий не превышает размера хранилища, который вы выбрали при создании кластера.

По умолчанию автоматическое резервное копирование выполняется раз в день с 01:00 по 05:00 по московскому времени, а резервные копии хранятся неделю. Время начала резервного копирования и срок хранения резервных копий (от 7 до 35 дней) можно установить при создании или изменении кластера.

Автоматически созданные копии удаляются, когда истекает срок хранения. Копии, созданные вручную, хранятся бессрочно.

Из резервной копии можно восстановить как существующий, так и удаленный кластер. Средняя скорость восстановления — 10 МБ/с.

Для версий MongoDB 4.2 и выше сервис поддерживает технологию point-in-time recovery (восстановление состояния кластера на заданный момент). Вы можете восстановить кластер в состояние на любой момент времени после создания самой старой полной резервной копии. Это достигается за счет дополнения данных выбранной резервной копии записями из архивируемого журнала операций.

Point-in-time recovery работает только для кластеров с выключенным шардированием.

Мониторинг и логи

Сервис отслеживает и выводит на дашборд следующие метрики: общий объём данных, размер журнала операций, место на диске, число подключений к базе, сессий и операций, лаг репликации и пр. 

Кроме того, сервис ведет запись логов событий.

Репликация и отказоустойчивость

Сервис управляемых БД MongoDB по умолчанию реплицирует данные, т. е. копирует их на несколько хостов. Если в кластере больше одного активного хоста, из них автоматически выбирается главный — первичная реплика. Этот хост обрабатывает все запросы на запись.

Первичная реплика выбирается автоматически, если в кластере работоспособно больше половины хостов. По этой причине кластер из двух хостов не обеспечивает отказоустойчивости. Если первый хост отказал, второй не сможет назначить сам себя первичной репликой и будет обрабатывать только операции чтения.

Кластер из трёх хостов продолжит обрабатывать операции записи при потере одного хоста. Кластер из четырёх хостов также может потерять только один хост: при потере второго оставшихся хостов не хватит, чтобы автоматически выбрать первичную реплику. Поэтому в MongoDB лучше разворачивать кластеры с нечетным числом хостов.

Лимиты и тарификация

 

В кластере БД MongoDB можно создать не более 10 шардов. Шард состоит не более чем из семи хостов. Таким образом, максимальное число хостов в одном кластере не может превышать 70.

Максимальное число одновременных подключений к одному хосту зависит от объёма его оперативной памяти: не более 2048 подключений на каждые 2 ГБ.

Максимальный объём данных на хосте — 605 ГБ при использовании сетевого хранилища или 600 ГБ при использовании локального хранилища.

MongoDB тарифицируется по тем же принципам, что и управляемые реляционные БД. 

 

Проверьте себя

Вы используете для своего приложения управляемую базу данных MongoDB. Кластер состоит из одного хоста s2.large (12 vCPU, 48 ГБ) с быстрым сетевым хранилищем объёмом 50 ГБ.

С учётом растущей нагрузки на кластер и далеко идущих планов по развитию приложения вы решаете разбить БД на два шарда, понизив при этом класс хостов до s2.medium (8 vCPU, 32 ГБ) и увеличив объём хранилища до 100 ГБ, а также сделать БД отказоустойчивой.

 

Сколько хостов в кластере вам для этого понадобится?

 

Правильный ответ:

• 6 (два хоста для шардов и еще по две реплики на каждый шард)

Сколько примерно времени займет восстановление кластера размером 10 ГБ из резервной копии?

 

Правильный ответ:

• 17 минут

 

Поздравляем, вы завершили тему «MongoDB»

В этой теме вы узнали о различиях классических реляционных и NoSQL баз данных, научились создавать кластер баз данных MongoDB, познакомились с концепцией шардирования БД, выяснили некоторые особенности сервиса управляемых баз данных MongoDB в Yandex Cloud.

Категория: Cloud Services Engineer

Просмотров: 801

Кратко:

• Шардирование - горизонтальное масштабирование данных, разбиение на шарды и размещение на разных хостах.
• Плюсы: обходит технические ограничения, ускоряет доступ к данным для пользователей из конкретного региона, выполняет юридические требования.
• Недостатки: неправильно шардировать данные, могут возникнуть горячие точки, шардирование в MongoDB доступно только для кластеров с версией не ниже 4.0.
• В MongoDB шардирование поддерживается по умолчанию, части коллекций размещаются на разных хостах.
• Данные на шардах должны быть не связаны между собой, выбор ключа шардирования влияет на удобство работы с коллекцией и производительность.
• Шардирование имеет смысл, если данных много или они неоднородны и делятся на категории.
• Сервис поддерживает две основные стратегии: по хешу и по диапазону значений.
• Отменить шардирование невозможно, для восстановления до шардирования нужно сделать резервную копию и создать новый кластер.

Категория: Cloud Services Engineer

Просмотров: 640

Кратко:

• Создание кластера MongoDB в Yandex Cloud
• Установка основных настроек кластера: тип хоста, класс, стандартное сетевое хранилище
• Подключение к базе данных через интернет или с виртуальных машин
• Установка утилиты MongoDB Shell
• Создание коллекции "users" в базе данных
• Загрузка тестовых данных с помощью методов db.insertOne() и db.insertMany()
• Работа с данными, содержащими разный набор данных
• Проверка наличия пользователей старше 37 лет с помощью метода db.users.find()

Практическая работа. Создание кластера MongoDB

На этом уроке вы создадите кластер MongoDB, подключитесь к нему и загрузите в него данные. Раньше вы работали только с реляционными БД, но использование кластера MongoDB принципиально не отличается от работы с кластером MySQL или PostgreSQL, так что многое будет вам знакомо.

Создание кластера базы данных

Выберите в консоли управления Yandex Cloud каталог для кластера БД. На дашборде каталога откройте раздел Managed Service for MongoDB. В открывшемся окне нажмите кнопку Создать кластер.

Установите основные настройки кластера. Для этого урока создайте кластер с минимальной конфигурацией: тип хоста burstable, класс b2.nano, стандартное сетевое хранилище размером 10 ГБ. Откройте публичный доступ к хосту и задайте пароль пользователя БД. Остальные значения оставьте по умолчанию.

Подключение к базе данных

В сервисе управляемых БД MongoDB к хостам можно подключаться через интернет или с виртуальных машин в той же сети. Порт для подключения — 27018.

Для подключения через интернет хосты кластера должны находиться в публичном доступе. Подключаться можно только через зашифрованное соединение.

Обратите внимание: если публичный доступ настроен только для некоторых хостов в кластере, то при автоматической смене основной реплики она может оказаться недоступной из интернета.

Если к хосту нет публичного доступа и вы подключаетесь к нему с виртуальных машин Yandex Cloud, то зашифрованное соединение необязательно.

Подключитесь к созданной БД из интернета. Используйте SSL-сертификат, который вы подготовили на одной из предыдущих практических работ, или команду (для Ubuntu):

sudo mkdir -p /usr/local/share/ca-certificates/Yandex && \
sudo wget "https://storage.yandexcloud.net/cloud-certs/CA.pem" -O /usr/local/share/ca-certificates/Yandex/YandexInternalRootCA.crt

 

Если всё пройдет успешно — вы получите сообщение операционной системы о том, что сертификат сохранён.

Установите утилиту MongoDB Shell:

curl -fsSL https://pgp.mongodb.com/server-7.0.asc | sudo gpg -o /usr/share/keyrings/mongodb-server-7.0.gpg --dearmor

echo "deb [ arch=amd64,arm64 signed-by=/usr/share/keyrings/mongodb-server-7.0.gpg ] https://repo.mongodb.org/apt/ubuntu jammy/mongodb-org/7.0 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-7.0.list

cd /etc/apt/sources.list.d/
cat mongodb-org-7.0.list

Затем обновите локальный список пакетов, в результате чего репозиторий MongoDB 7.0 будет добавлен в систему:

sudo apt update

Далее уже можно будет запустить установку непосредственно пакета MongoDB:

sudo apt install mongodb-org

По окончании установки следующей командой можно проверить версию установленного пакета:

mongod --version

При установке служба MongoDB по умолчанию будет отключена. Её включение производится при помощи системной утилиты systemctl:

sudo systemctl start mongod

 Убедиться в том, что сервис работает, можно посмотрев его состояние:

sudo systemctl status mongod

sudo ss -pnltu | grep 27017

После того, как вы убедились, что служба работает должным образом, при помощи следующей команды следует активировать её запуск при старте системы:

sudo systemctl enable mongod

mongosh

Подключитесь к БД с помощью команды mongosh. Чтобы получить строку подключения, на основной странице сервиса в консоли управления выберите кластер, на вкладке Обзор нажмите кнопку Подключиться.

Сервис сформирует пример строки подключения для кластера. Там же вы можете посмотреть примеры кода на Python, PHP, Java, Node.js, Go для подключения из приложений.

Подключитесь к кластеру из командной строки.

mongosh --norc \
        --tls \
        --tlsCAFile /home/<домашняя директория>/.mongodb/root.crt \
        --host '<FQDN хоста MongoDB>:27018' \
        --username <имя пользователя БД> \
        --password <пароль пользователя БД> \
        <имя БД>

 

При успешном подключении вы получите сообщение:

Создадим в БД коллекцию users. Предположим, в ней содержится информация о пользователях вашего приложения.

db.createCollection("users")

Проверьте себя

Загрузим в коллекцию тестовые данные с помощью методов добавления одного документа db.insertOne(...) и сразу нескольких db.insertMany(...).

Сначала добавим один документ (данные одного пользователя).

db.users.insertOne({firstName: "Adam", lastName: "Smith", age: 37, email: "Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в браузере должен быть включен Javascript."});

 

Ответ должен выглядеть примерно так:

Дополним коллекцию данными еще двух пользователей.

db.users.insertMany( [
      {firstName: "Viktoria", lastName: "Holmes", age: 73, email: "Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в браузере должен быть включен Javascript.", phone: "737772727"},
      {firstName: "Tina", lastName: "Anders", age: 29, email: "Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в браузере должен быть включен Javascript.", children: [{firstName: "Sam", lastName: "Anders"},{firstName: "Anna", lastName: "Anders"}]}
   ] );

 

Обратите внимание, что документы в коллекции users содержат разный набор данных. С помощью MongoDB мы можем работать с данными, структура которых частично не совпадает.

Теперь посмотрим на содержимое коллекции с помощью команды db.users.find(). Результат показывает, что все данные успешно добавлены:

Проверим, есть ли среди пользователей те, кому больше 37 лет. Сделаем запрос к БД с помощью метода find.

db.users.find({age: {$gt: 37}});

Проверьте себя

Подробности о методах работы с данными в MongoDB вы найдете в документации.

Категория: Cloud Services Engineer

Просмотров: 805

Кратко:

• Реляционные БД подходят не для всех задач, поэтому были созданы нереляционные модели данных, такие как NoSQL.
• Нереляционные модели данных хранят данные в разных формах, таких как документы, графы, пары "ключ-значение" и т.д.
• В MongoDB данные хранятся в документах, которые могут иметь сложную структуру и могут отличаться размером и полями.
• Однотипные документы объединяются в коллекции, аналог таблиц в реляционных БД.
• MongoDB подходит для управления большим объемом данных с неизвестной структурой и горизонтального масштабирования.
• Пример использования MongoDB: интернет-магазин с множеством товаров с разными характеристиками и национальной БД медицинских карт.

{
  "Имя":"Сергей",
  "Фамилия":"Шишкин",
  "Дата рождения":"02.12.1961",
  "Номер медицинской карты":23264,
  "Посещения врача":[
    {
      "Дата":"24.02.2021",
      "Врач":"Сидорова О.С.",
      "Анамнез":"...",
      "Назначенные обследования":"Общий анализ крови",
      "Диагноз":"ОРВИ",
      "Лечение":"Теплый чай с медом перорально до 12 раз в сутки"
    },
    {
      "Дата":"05.03.2021",
      "Врач":"Сидорова О.С.",
      "Анамнез":"...",
      "Назначенные обследования":"",
      "Диагноз":"Здоров"
    }
  ]
}

Категория: Cloud Services Engineer

Просмотров: 527