Кратко:

• Создание кластера управляемой БД занимает несколько минут, сервис делает большую часть работы.
• Управляемые БД экономят время, но требуют внимания пользователя для разных вариантов развертывания.
• Сервис управляемой БД выполняет функции, включая обновление ПО, мониторинг, резервное копирование и отказоустойчивость.
• Сервис минимизирует время настройки и поддержки системы, позволяя пользователям работать над своим продуктом.
• Обновление ПО происходит автоматически, а безопасность данных разделяется между пользователем и облаком.
• Пользователь сервиса отвечает за корректность работы приложения и БД, включая оптимизацию запросов и безопасность данных.
• Сервис предоставляет инструменты для мониторинга, но пользователь должен отслеживать и оценивать показатели.
• Сервисы управляемых БД облегчают жизнь, но пользователям следует уделять внимание важным аспектам работы с ними.

Распределение ответственности между Yandex Cloud и пользователем

Ответственность облачного провайдера

Как вы могли убедиться на практике, создание кластера управляемой БД и подключение к нему занимает лишь несколько минут. Почти всю работу — поднять и настроить виртуальные машины, установить ПО, сконфигурировать сеть — делает сервис.

Управляемые БД действительно экономят время. Давайте посмотрим, что требует внимания пользователя, для трёх вариантов развёртывания БД: на своём оборудовании, на виртуальной машине в облаке и с помощью сервиса управляемых БД.

 

	На своем оборудовании	БД в облачной виртуальной машине	Управляемая БД
Развитие продукта	+	+	+
Закупка оборудования	+	-	-
Установка сервера	+	-	-
Конфигурация сети	+	-	-
Установка ОС и ПО	+	+	-
Безопасность	+	-	-
Аудит	+	-	-
Настройка групп безопасности	+	+	-
Тестирование и проверка	+	+	-
Доступность	+	+	-
Резервное копирование	+	+	-
Мониторинг	+	+	-
Обновления	+	+	-
Настройка кластера	-	-	+

 

 

 

Помимо создания кластера, сервис управляемой БД выполняет важные функции, в том числе связанные с отказоустойчивостью и доступностью БД. Вот за что отвечает сервис:

• своевременное обновление ПО;
• мониторинг работы хостов и БД;
• автоматическое создание резервных копий БД;
• репликация данных между хостами;
• автоматическое переключение нагрузки на резервную реплику при сбое на мастере.

То есть сервис минимизирует время, необходимое для настройки и поддержки системы, и позволяет вам работать над своим продуктом, не отвлекаясь на рутинные задачи по поддержке инфраструктуры.

В качестве примера рассмотрим, как сервис управляемой БД MySQL обновляет ПО.

Сервис поддерживает версии MySQL 5.7 и 8. При выходе новых минорных версий обновление происходит автоматически. Владельцы кластеров получают оповещение о сроках работ и доступности БД в этот период.

Когда версия СУБД становится неподдерживаемой, спустя месяц сервис направляет владельцам кластеров оповещение по электронной почте. Кластеры автоматически обновляются до следующей поддерживаемой версии через семь дней после оповещения для минорных версий и через один месяц для мажорных. Вам не нужно отслеживать выход обновлений и устанавливать их.

Ещё одна важная часть ответственности сервиса — обеспечение безопасности данных. На самом деле ответственность здесь общая, а точнее — разделяемая (shared responsibility), но на долю облака её приходится гораздо больше.

И наконец, облако предоставляет техническую поддержку, куда вы можете обратиться, если появятся вопросы или проблемы.

Ответственность пользователя

Вы, пользователь сервиса, отвечаете за корректность работы приложения и связанной с ним БД: правильность схемы данных, оптимизацию запросов к базе и т. д.

Если нужно перенести данные в облако (например, когда вы переходите на использование сервисов управляемых БД) — то вам понадобится сделать это самостоятельно.

Сервис предоставляет инструменты для мониторинга работы хостов и БД, но отслеживать и оценивать показатели — ваша обязанность. Если БД разрастётся или к ней будет гораздо больше запросов, чем планировалось, — вам самим нужно будет увеличить размер хранилища или число и класс хостов.

Если говорить о безопасности данных, вы несёте часть ответственности и за неё. Любые меры облачного провайдера  могут оказаться бесполезны, если вы неправильно настроите доступ к кластерам и БД или установите пароли вроде 12345678, password и т. п.

Таким образом, сервисы управляемых БД значительно облегчают жизнь и экономят время. Но при этом помните, каким вещам следует уделять внимание, чтобы не возникало проблем.

 

Проверьте себя

Какие функции выполняют сервисы управляемых БД?

 

Обновление ПО - Правильный ответ

Мониторинг хостов и БД - Правильный ответ 

Резервное копирование БД - Правильный ответ

Репликация данных - Правильный ответ

Категория: Cloud Services Engineer

Просмотров: 676

Кратко:

• В кластере Yandex Cloud доступна консоль управления для работы с базой данных (БД).
• Для работы с БД можно использовать консоль управления или приложения.
• Консоль управления доступна через вкладку SQL на странице Managed Service for MySQL.
• Для работы с БД через консоль управления можно использовать SQL-запросы.
• Для подключения к хосту с БД можно использовать SSL-соединение или без шифрования.
• Можно перенести данные в облако с помощью дампа и восстановить их в нужном кластере.
• После переноса данных можно подключиться к БД и убедиться в успешном переносе.

Практическая работа. Подключение к БД и добавление данных

Доступ из консоли управления

CREATE TABLE IF NOT EXISTS ratings (
    rating_id INT AUTO_INCREMENT PRIMARY KEY,
    user_id INT NOT NULL,
    message_id INT NOT NULL,
    rating INT NOT NULL
) ENGINE=INNODB;

INSERT INTO ratings (user_id,message_id,rating) VALUES (44,368,4);

Подключение к кластеру

CREATE TABLE IF NOT EXISTS users (
    user_id INT AUTO_INCREMENT,
    nickname VARCHAR(128) NOT NULL,
    avatar VARCHAR(255),
    mail VARCHAR(255),
        PRIMARY KEY (user_id)
) ENGINE=INNODB;

mkdir ~/.mysql
wget "https://storage.yandexcloud.net/cloud-certs/CA.pem" -O ~/.mysql/root.crt
chmod 0600 ~/.mysql/root.crt

sudo apt update 
sudo apt install default-mysql-client

mysql --host=<адрес хоста> \
        --port=3306 \
        --ssl-ca=~/.mysql/root.crt \
        --ssl-mode=VERIFY_IDENTITY \
        --user=<имя пользователя> \
        --password \
    <имя_базы_данных> < createTables.sql

mysql --host=адрес_хоста \
      --port=3306 \
      --ssl-mode=DISABLED \
      --user=<имя пользователя> \
      --password \
      <имя_базы_данных> < createTables.sql 

mysql --host=<адрес хоста> \
        --port=3306 \
        --ssl-ca=~/.mysql/root.crt \
        --ssl-mode=VERIFY_IDENTITY \
        --user=<имя_пользователя> \
        --password \
    employees < ~/employees.sql 

Категория: Cloud Services Engineer

Просмотров: 803

Кратко:

• Лимиты и квоты - ограничения, связанные с архитектурой Yandex.Cloud и организационными ограничениями.
• Лимиты - технические ограничения, изменить их невозможно.
• Квоты - организационные ограничения, можно увеличить, обратившись в техническую поддержку.
• В кластере управляемой БД MySQL может быть не более 7 хостов и размер хранилища данных не превышает 2048 ГБ.
• Квоты всех сервисов управляемых БД одинаковы, в одном облаке можно создать не более 16 кластеров разных БД.
• Тарификация зависит от параметров кластера, чем больше ядер процессора и оперативной памяти задействовано, тем дороже.
• Хранение резервных копий оплачивается, если размер БД и резервных копий больше выбранного размера хранилища.
• Исходящий трафик из Yandex Cloud в интернет оплачивается сверх 10 ГБ в месяц, передача трафика между сервисами Yandex Cloud не тарифицируется.

Лимиты, квоты и тарификация

Не правда ли, создать кластер несложно. Но чтобы делать это легко и быстро — лучше заранее представлять, какой кластер вам нужен и получится ли его создать. На предыдущем уроке вы узнали о возможностях: какие классы хостов или типы хранилищ данных можно выбрать. На этом разберемся с ограничениями.

Лимиты и квоты

Ограничения делятся на лимиты и квоты.

Лимиты — технические ограничения, связанные с особенностями архитектуры Yandex.Cloud. Изменить их невозможно.

Квоты — организационные ограничения. Их можно увеличить, написав запрос в техническую поддержку.

У каждого сервиса управляемых БД собственные лимиты. Как правило, они связаны с тем:

• какие классы хостов можно использовать;
• сколько хостов может быть в кластере;
• какой максимальный размер хранилища данных.

Полный перечень лимитов каждого сервиса вы найдете в его документации в разделе Концепции → Квоты и лимиты.

В кластере управляемой БД MySQL может быть не больше семи хостов. Размер хранилища данных для одного хоста не превышает 2048 ГБ для стандартного, 4096 ГБ для быстрого сетевого хранилища, 8184 ГБ для хранилища на нереплицируемых SSD-дисках и 1500 ГБ (для платформ Intel Broadwell и Intel Cascade Lake) или 2944 ГБ (для платформы Intel Ice Lake) для локального.

Квоты всех сервисов управляемых БД одинаковы. В одном облаке по умолчанию можно создать не более 16 кластеров разных БД. Максимальное число ядер процессора — 96, общий объем виртуальной памяти — 640 ГБ, объём хранилищ данных — 4096 ГБ.

Тарификация

Создавая кластер, вы наверняка обратили внимание на панель расчета стоимости сервиса. В зависимости от параметров кластера цена может быть и очень скромной, и весьма существенной.

Сравните стоимости кластера из одного хоста b2.nano cо стандартным сетевым хранилищем 10 ГБ и кластера из трех хостов s2.6xlarge c быстрым локальным хранилищем 1000 ГБ

Стоимость использования сервиса управляемых БД зависит от класса и количества хостов в кластере, типа и размера хранилища данных, объёма резервных копий и исходящего трафика.

Чем больше ядер процессора и оперативной памяти задействовано в кластере — тем он дороже. Выбирайте класс хоста разумно. Для учебных задач хватит минимального кластера с одним хостом типа burstable. Если понадобится, класс хоста можно изменить.

Оценивается каждый час работы хоста. Если кластер остановлен, оплата идет только за выделенный объём хранилища данных. Это выгодно, если вы используете кластер не постоянно, а время от времени: для учебных практических работ или тестирования. Также не забывайте удалять ненужные кластеры.

Важно! Если вы используете быстрое локальное хранилище данных (local-ssd), то при остановке кластера его вычислительные ресурсы не высвобождаются, и за него взимается полная оплата.

Стоимости стандартного сетевого, быстрого сетевого, быстрого локального и хранилища на нереплицируемых SSD-дисках различаются: стандартное сетевое — самое дешёвое, быстрое сетевое и быстрое локальное — самые дорогие. Также учитывайте, что для использования быстрого локального хранилища нужно создать кластер как минимум из трех хостов.

Хранение резервных копий оплачивается только в том случае, если размер БД и всех резервных копий больше выбранного размера хранилища.

При использовании сервиса оплачивается только исходящий трафик из Yandex Cloud в интернет сверх 10 ГБ в месяц. Передача трафика между сервисами Yandex Cloud и входящий трафик не тарифицируются.

Тарифы на использование каждого сервиса управляемых БД вы найдете в документации к нему в разделе Правила тарификации → Действующие правила.

Чтобы посмотреть детализацию расходов, в консоли управления Yandex.Cloud откройте раздел Биллинг.

Для примера давайте посчитаем, во сколько обойдётся непрерывная работа кластера, который вы создали на предыдущем уроке (один хост класса s2.micro со стандартным сетевым хранилищем 50 ГБ). Кластер используется для учебы — значит, исходящий трафик в интернет незначительный, а в хранилище данных хватит места для бесплатных резервных копий.

Стоимость (в месяц) = стоимость работы хоста × число хостов + стоимость 1 ГБ хранилища × размер хранилища + стоимость хранения резервных копий сверх размера хранилища + стоимость исходящего трафика сверх 10 ГБ.

Стоимость (в месяц)=$(4,9\times 24\times 30)\times 1+2,2881\times 50+0+0=3642,41$₽

Допустим, вы учились работать с кластером 20 часов и запускали его только во время занятий. Тогда вы потратите:

Стоимость (в месяц)=$(4,9\times 20)\times 1+2,2881\times 50+0+0=212,41$ ₽

 

Проверьте себя

Можно ли для экономии использовать при создании кластера хосты с уровнем производительности vCPU меньше 5%?

 

Нет - Правильный ответ

Категория: Cloud Services Engineer

Просмотров: 896

Кратко:

• Object Storage - удобный инструмент для хранения данных в облаке
• Базы данных используются для изменения и выполнения операций с данными
• MySQL - одна из популярных баз данных
• Создание кластера MySQL включает выбор виртуального хоста, окружения, версии сервера, класса хостов, хранилища данных, базы данных, сети, параметров хостов и дополнительных настроек
• Создание кластера занимает несколько минут
• После создания кластера его статус меняется с Creating на Running

Практическая работа. Создание кластера базы данных MySQL

Object Storage — удобный и полезный инструмент для хранения данных в облаке. Но для решения практических задач важно не просто хранить данные, но и иметь возможность их изменять и выполнять с ними различные операции (сортировать, группировать, делать выборки и так далее). Для этого используются базы данных. В этой и следующих темах вы научитесь работать с несколькими управляемыми БД. И начнем мы с одной из самых популярных — MySQL.

На этом уроке вы создадите и настроите кластер управляемой БД MySQL, подключитесь к нему, перенесёте данные в облако, познакомитесь с возможностями резервного копирования и мониторинга. Эти навыки пригодятся вам и в других сервисах управляемых БД, поскольку принципы работы в них очень похожи.

Предположим, вы решили добавить в разрабатываемый вами мессенджер новую функциональность. Вы написали микросервис, который позволяет оценивать сообщения в групповых чатах и хранит оценки в БД MySQL. Давайте поместим эту БД в Yandex Cloud.

Прежде всего понадобится создать кластер: набор виртуальных машин (ВМ, или хостов), на которых будет развёрнута БД. Это обязательный первый шаг при использовании любого сервиса управляемых БД.

Войдите в консоль управления Yandex Cloud и выберите каталог для кластера. Вверху справа нажмите кнопку Создать ресурс и выберите из выпадающего списка Кластер MySQL.

Откроется страница с основными настройками кластера. Рассмотрим их подробнее.

Базовые параметры

Имя кластера может включать только цифры, прописные и строчные латинские буквы, дефисы.

Поле Описание заполнять необязательно. Оно полезно, если вам нужно создать несколько кластеров для разных целей, чтобы в них было проще ориентироваться.

О том, какое бывает Окружение кластера и чем различаются PRESTABLE и PRODUCTION. Поскольку микросервис только разрабатывается, выберите окружение PRESTABLE.

Версия. В качестве сервера MySQL в Yandex Cloud используется Percona Server версии 5.7 или 8.0. У этих реализаций сервера улучшенная производительность на многоядерных машинах. Если для вас критична стабильность работы микросервиса, выбирайте проверенную временем 5.7. Для нашей задачи подойдёт 8.0: в ней много новых функций, но она ещё не полностью обкатана.

Класс хостов

Следующий шаг — выбор класса хостов, или шаблона ВМ. Хосты кластера будут развёрнуты на базе ВМ Compute Cloud с использованием этого шаблона.

Платформа определяет тип физического процессора (Intel Broadwell, Intel Cascade Lake или Intel Ice Lake), а также конфигурации числа ядер виртуального процессора (vCPU) и размера оперативной памяти.

Если тип процессора для вас неважен, выбирайте более современную платформу Intel Ice Lake. Она предоставляет широкий выбор конфигураций вычислительных ресурсов.

Также на конфигурации влияет Тип хоста, на котором будет развёрнута БД.

Standard — это обычные ВМ с 4 ГБ RAM на ядро vCPU. Такое соотношение оптимальный баланс между количеством запущенных процессов, быстродействием и потребляемой оперативной памятью.

Memory-optimized — машины с вдвое увеличенным объёмом RAM на каждое ядро (8:1). Выбирайте их для высоконагруженных сервисов с повышенными требованиями к кешу.

CPU-optimized — конфигурации с уменьшенным соотношением количества гигабайт RAM к количеству vCPU (2:1). Такие конфигурации могут быть полезны для кластеров с повышенными требованиями к производительности процессора.

Burstable — Это хосты, для которых гарантируется использование лишь доли ядра vCPU (5, 20 или 50%) с вероятностью временного повышения вплоть до 100%. Они доступны только на платформах Intel Broadwell и Intel Cascade Lake. Такие хосты стоят дешевле и подходят для задач, где не нужен постоянный уровень производительности, т. е. для тестирования или разработки.

Выберем для микросервиса следующий класс хоста: платформа — Intel Ice Lake; тип — standard; конфигурация вычислительных ресурсов — s3-c2-m8 (два ядра vCPU, 8 ГБ RAM).

Хранилище данных

Хранилище БД может быть сетевым или локальным. В первом случае данные находятся на виртуальных дисках в инфраструктуре Yandex Cloud. Локальное хранилище — это диски, которые физически размещаются в серверах хостов БД.

При создании кластера можно выбирать между следующими типами хранилища:

• Стандартное сетевое (network-hdd) — это наиболее экономичный вариант. Выбирайте его, если к скорости записи и чтения нет особых требований.
• Быстрое сетевое (network-ssd) стоит примерно в четыре раза дороже, но при размере хранилища от 100 ГБ работает быстрее стандартного в десять и более раз (чем больше размер, тем заметнее разница в скорости).
• Сетевое на нереплицируемых SSD-дисках (network-ssd-nonreplicated) — использует сетевые SSD-диски с повышенной производительностью, реализованной за счет устранения избыточности. Объём такого хранилища можно увеличивать только с шагом 93 ГБ.
• Быстрое локальное (local-ssd) — самое быстрое и дорогое. Если локальный диск откажет, все сохранённые на нём данные будут потеряны. Чтобы этого избежать, при выборе локального хранилища сервис автоматически создаст отказоустойчивый кластер минимум из трёх хостов.

Число доступных типов хранилища зависит от выбранного типа хоста. Для burstable-хостов доступны только стандартное и быстрое сетевые хранилища.

При создании кластера внимательно выбирайте тип хранилища. Размер хранилища можно будет позже изменить, а тип — нет.

Выберите для кластера стандартное сетевое хранилище network-hdd размером 50 ГБ.

База данных

В этом разделе настроек задаются атрибуты базы: Имя БД, уникальное в рамках кластера, Имя пользователя (владельца БД) и Пароль пользователя.

Сеть

Здесь можно выбрать облачную сеть для кластера и группы безопасности для его сетевого трафика.

Оставьте сеть по умолчанию (default) или выберите сеть, которую создали на предыдущем курсе. Кластер будет доступен для всех ВМ, которые подключены к вашей облачной сети.

Параметры хостов

В этом блоке можно добавить количество хостов, которые будут созданы вместе с кластером, и изменить их параметры. Дополнительные хосты могут понадобиться, например, для репликации БД или снижения нагрузки на хост-мастер.

Для наших целей достаточно кластера из одного хоста. Нажмите значок редактирования параметров хоста и в открывшемся окне выберите опцию Публичный доступ. Это означает, что к хосту можно будет подключиться из интернета, а не только из облачной сети. Остальные параметры оставьте без изменений.

Дополнительные настройки

Здесь можно:

• указать время Начала резервного копирования и Срок хранения автоматических резервных копий;
• задать Окно обслуживания. Это пригодится, если вы хотите, чтобы техническое обслуживание кластера (обновление СУБД, применение патчей и т. д.) не совпадало по времени с периодами пиковых нагрузок на БД;
• разрешить Доступ из DataLens, если вы планируете анализировать в DataLens данные из базы. Подробнее о DataLens вы узнаете в одной из следующих тем;
• разрешить Доступ из консоли управления, чтобы выполнять SQL-запросы к БД из консоли управления Yandex Cloud. Отметьте этот пункт: доступ из консоли понадобится нам в следующих практических работах;
• разрешить Доступ из Data Transfer, чтобы разрешить доступ к кластеру из сервиса Yandex Data Transfer в Serverless-режиме;
• включить Сбор статистики, чтобы воспользоваться инструментом Диагностика производительности в кластере;
• установить Защиту от удаления.

В этом блоке также можно задать настройки СУБД (например используемую сервером MySQL кодировку при работе с данными и обмене информацией с клиентами). По умолчанию при создании кластера сервис выбирает оптимальные настройки. Изменяйте их, только если точно уверены, что это необходимо.

Настройка завершена. Осталось только нажать кнопку Создать кластер.

Создание кластера займёт несколько минут. Когда он будет готов к работе, его статус на панели Managed Service for MySQL сменится с Creating на Running, а состояние — на Alive.

Статус показывает, что происходит с кластером:

• Creating — создаётся;
• Running — работает;
• Error — не отвечает, возникла проблема;
• Updating — обновляется;
• Stopped — остановлен;
• Unknown — статус неизвестен (так может быть, например, когда кластер не виден из интернета).

Состояние — это показатель доступности кластера:

• Alive — все хосты кластера работают;
• Degraded — часть хостов (один или больше) не работает;
• Dead — все хосты не работают.

Проверьте себя

Вы хотите поместить в облако БД, которая обслуживает работающий микросервис с постоянной, но не очень высокой нагрузкой. Какой тип ВМ стоит выбрать при создании кластера?

 

standard - Правильный ответ

Категория: Cloud Services Engineer

Просмотров: 742