Кратко:
- Снимок диска - слепок или поблочная копия дискового устройства на определенный момент времени.
- Резервные копии данных создаются с помощью снимков дисков.
- Снимок можно использовать для создания резервных копий и удаления старых снимков.
- Важно остановить операции с диском перед созданием снимка, чтобы избежать неполных или поврежденных файлов.
- После создания снимка, проверьте его целостность, создав ВМ из снимка и проверив ее работу.
- Можно создавать сколько угодно снимков, но их хранение оплачивается дополнительно.
- В названии снимков по умолчанию включается имя диска и отметка времени Unix.
- Снимки дисков реплицируются во все зоны доступности, в отличие от репликаций дисков, которые реплицируются только внутри одной зоны доступности.
Что такое снимок и зачем он нужен
Предположим, вы разместили на диске ВМ данные, с которыми работает приложение. Чтобы не потерять данные, создавайте резервные копии. Для этого отлично подходят снимки дисков.
Снимок можно назвать слепком или поблочной копией дискового устройства на определённый момент времени. Вы сами решаете, сколько хранить снимки, и удаляете их вручную.
Например, перед выкатыванием обновления вы сделали снимок диска ВМ, где работает бэкенд мобильного приложения. В ходе тестирования вы не нашли ошибки, сервис функционирует стабильно. К выкатыванию следующего обновления можно сделать снимок с новой версией, а старый — удалить.
Важно! Останавливайте операции с диском, перед тем как создать снимок (например, в ОС Linux вы можете остановить все операции записи на диск в приложениях, или просто остановить ВМ с любой ОС). Если работающее в ВМ приложение создаёт или меняет файлы на диске — в снимок могут попасть неполные, повреждённые файлы. При восстановлении из снимка может нарушиться целостность данных.
Когда снимок готов, проверьте его целостность: создайте ВМ из снимка и проверьте, как она работает. Подробнее об этом мы расскажем в следующем практическом задании.
Вы можете создавать сколько угодно снимков. Их хранение оплачивается дополнительно. Чтобы вы проще различали снимки, по умолчанию в их название включается имя диска. Например, disk2-1614952835886 снят с диска disk2, а 1614952835886 — это отметка времени Unix, когда был создан снимок.
Между репликацией дисков и репликацией снимков есть важное отличие. Диск находится в одной зоне доступности и реплицируется только внутри нее (кроме нереплицируемых дисков). Снимки же реплицируются во все зоны доступности. Поэтому чтобы перенести ВМ в другую зону, достаточно создать в этой зоне копию ВМ из снимка загрузочного диска.
- Категория: Cloud Services Engineer
- Просмотров: 702
Кратко:
- Производительность виртуальных машин зависит от объема дисков и их типа.
- HDD и SSD являются доступными вариантами дисков для виртуальных машин.
- HDD имеют низкую стоимость гигабайта, но низкую скорость чтения и записи.
- SSD обеспечивают высокую скорость чтения и записи, оптимальны для быстрой загрузки и работы с файлами.
- Нереплицируемые SSD-диски имеют повышенную производительность без избыточности.
- Высокопроизводительные SSD-диски обеспечивают избыточность и имеют те же скоростные характеристики, что и нереплицируемые.
- Объем и тип диска влияют на производительность, ключевой параметр - блок размещения.
- Загрузочные и дополнительные диски используются для хранения данных виртуальных машин.
Диски. Зависимость производительности от объёма
Диски виртуальных машин физически размещаются на дисках, подключённых к сети через Ethernet. Внутри зоны доступности данные хранятся с избыточностью. Поэтому, если физический диск выходит из строя, данные пользователя остаются доступными. Кроме того, для каждого снимка и образа создаётся реплика (полная копия). Это называется репликацией. Если физический диск, на котором хранятся снимки и образы, выходит из строя, — всегда остаются копии.
HDD и SSD
Для ВМ вы можете использовать сетевые диски HDD и SSD.
Есть ещё два типа дисков: нереплицируемый SSD-диск (
network-ssd-nonreplicated) — сетевой диск с повышенной производительностью без избыточности, а также высокопроизводительный SSD-диск (network-ssd-io-m3), который обладает теми же скоростными характеристиками что и нереплицируемый, одновременно обеспечивая избыточность.Сетевые SSD, высокопроизводительные SSD-диски и сетевые HDD-диски обеспечивают достаточную избыточность для надежного хранения данных и позволяют непрерывно выполнять операции чтения и записи даже при одновременном выходе из строя нескольких физических дисков. Нереплицируемые диски не гарантируют сохранность данных.
Объём и тип диска влияют на производительность. Ключевое понятие здесь — блок размещения, т. е. единица выделения дискового пространства. Чем больше блоков размещения в вашем диске, тем более производительный диск в итоге вы получаете. У сетевых SSD размер блока размещения — 32 ГБ, у сетевых HDD он равен 256 ГБ. Поэтому при одинаковом объёме у SSD больше блоков размещения, а значит, выше IOPS (количество операций чтения и записи, выполняемых диском в секунду) и пропускная способность. Таким образом производительность диска будет расти ступенчато с увеличением количества блоков размещений в нем. Блоки размещения в разных типах дисков отличаются размером и лимитами на производительность.
Загрузочные и дополнительные диски
Данные ВМ в Compute Cloud хранятся на загрузочном и дополнительных дисках. На загрузочном диске находится операционная система и приложения, поэтому его нельзя отключить от ВМ. На дополнительном диске вы можете хранить любые данные, его можно отключить от одной ВМ и подключить к другой.
Например, ваш веб-сервис хранит пользовательскую информацию в базе данных и может создавать выгрузки в удобном пользователю формате. В таком случае на загрузочном диске будет только само веб-приложение поверх операционной системы, а база данных и файлы выгрузки — на дополнительных дисках.
- Категория: Cloud Services Engineer
- Просмотров: 615
Кратко:
- Метаданные связаны с каждой виртуальной машиной в Compute Cloud.
- Метаданные включают идентификатор, название, описание, список дисков и сетевых интерфейсов.
- Дополнительные метаданные могут быть определены при создании или изменении виртуальной машины.
- Сервис метаданных доступен из любой виртуальной машины по адресу http://169.254.169.254.
- Метаданные могут быть получены и использованы для настройки машины или софта.
- Сервис метаданных возвращает метаданные в форматах Google Compute Engine и Amazon EC2.
- В Linux используется агент cloud-init, в Windows - Cloudbase-Init.
- Метаданные могут быть переданы при создании и изменении виртуальной машины с помощью Yandex Cloud CLI.
Сервис метаданных и cloud-init
С каждой ВМ в Compute Cloud связаны метаданные. Метаданные — это идентификатор, название и описание ВМ, список подключённых к ней дисков и сетевых интерфейсов, привязанные к ВМ сервисные аккаунты. Кроме того, вы можете определять дополнительные метаданные и указывать их, когда создаёте или изменяете ВМ.
Получайте метаданные изнутри ВМ с помощью сервиса метаданных (он доступен из любой ВМ по адресу http://169.254.169.254) и используйте их для настройки машины или софта на ней. Например, укажите через метаданные, в каком режиме запуститься приложению на сервере: в отладочном или в боевом. Меняйте режим, не заходя на сервер, просто меняя значение в сервисе метаданных.
Сервис возвращает метаданные в двух форматах: Google Compute Engine или Amazon EC2.
Помните, что в Yandex Cloud поддерживаются не все поля этих форматов.
В ВМ на базе Linux для работы с метаданными, как правило, используется агент cloud-init, в машинах с Windows — Cloudbase-Init. Но вы можете отправить запрос в сервис метаданных и самостоятельно — с помощью любого HTTP-клиента.
Вы можете передать метаданные при создании и изменении ВМ. Чаще всего это делается с помощью консольной утилиты Yandex Cloud CLI, о которой мы подробно расскажем позже.
Указывайте метаданные в CLI в одном из трёх параметров:
--metadataпринимает список пар «ключ=значение», разделённых запятой, например:--metadata foo1=bar,foo2=baz.--metadata-from-fileчитает метаданные из файла, например:--metadata-from-file key=path/to/file. Этот метод удобен, чтобы передавать длинные метаданные.--ssh-key— специальный тип метаданных для хранения публичного SSH-ключа. Доступен только для ВМ на Linux, где его читает агент cloud-init.
Чтобы получить метаданные ВМ от Yandex Cloud, вы можете использовать интерфейс командной строки Yandex Cloud (CLI) или API. Пошаговое руководство по использованию CLI для решения этой задачи приведено в документации. С кратким введением в использование CLI для работы с ВМ вы познакомитесь в одной из следующих тем этого курса.
Пример использования метаданных для создания новой ВМ мы рассмотрим в одной из дальнейших практических работ.
👉 Поздравляем, вы завершили тему «Виртуальные машины»
В этой теме вы узнали, как создавать и настраивать виртуальные машины, как подключаться к ним по протоколу SSH, в каких случаях лучше использовать прерываемые ВМ. В следующей теме вы подробнее познакомитесь с концепциями дисков, снимков и образов в облачной среде и научитесь их создавать.
- Категория: Cloud Services Engineer
- Просмотров: 1179
Кратко:
- Создание виртуальной машины (ВМ) с гарантированной долей vCPU (вычислительных ресурсов процессора)
- Использование мониторинга для проверки производительности ВМ
- Переход в раздел Compute Cloud в консоли управления Выбор платформы Intel Ice Lake и доли vCPU 20%
- Мониторинг показывает информацию о загрузке процессора, операциях с диском и сетевой активности
- Переход на страницу ВМ и выбор пункта "Мониторинг"
- Просмотр графика использования процессорных ресурсов и сетевой активности Остановка и удаление ВМ после проведения тестирования
Создаем ВМ с 20% vCPU и используем мониторинг
Давайте создадим ВМ с гарантированной долей vCPU, равной 20%, и проверим её производительность.
-
В консоли управления перейдите в раздел Compute Cloud и нажмите кнопку Создать ВМ. Заполните имя, выберите зону доступности и операционную систему Ubuntu 22.04.
-
В блоке Вычислительные ресурсы выберите платформу Intel Ice Lake и укажите гарантированную долю vCPU 20%. Другие параметры оставьте по умолчанию.
- После создания и запуска ВМ в списке машин нажмите её название. Вы перейдёте на страницу ВМ. Затем на левой боковой панели выберите Мониторинг. Откроется страница, где в динамике показывается информация о загрузке процессора, операциях с диском и сетевой активности. По умолчанию видны данные за одни сутки (
1d— 1 day).
- Переключитесь на один час: вверху нажмите
1h(1 hour).
- На графике видно, что при запуске использование процессорных ресурсов было высоким, а позже снизилось до приемлемого. Чтобы посмотреть точные значения в определённый момент, поместите указатель над линией графика. Вы увидите всплывающее окно с показателями для этой точки времени.
- Теперь удалите ВМ. Для этого сначала остановите её — вернитесь в список ВМ, отметьте нужную ВМ и на появившейся внизу контекстной панели нажмите Остановить.
- Во всплывающем окне подтвердите действие и нажмите кнопку Остановить. Дождитесь смены статуса на Stopped.
- Чтобы удалить ВМ, в списке ВМ справа напротив машины нажмите
...и в раскрывшемся меню выберите Удалить. Подтвердите действие. Через некоторое время ВМ будет удалена.
Подробнее о способе выполнить нагрузочное тестирование ВМ вы узнаете из практического занятия в теме «Группы виртуальных машин».
- Категория: Cloud Services Engineer
- Просмотров: 627
Кратко:
- Уровень производительности vCPU определяет доступную долю вычислительного времени физических ядер.
- ВМ с уровнем производительности 100% предназначены для приложений, требующих высокой производительности.
- ВМ с уровнем производительности меньше 100% предназначены для приложений, не требующих высокой производительности и не чувствительных к задержкам.
- Прерываемая ВМ - это виртуальная машина, доступная за меньшую цену, но может быть отозвана в любое время.
- Прерываемые ВМ не подходят для решений с постоянной работой и отказоустойчивостью.
- Прерываемые ВМ подходят для пакетной обработки данных, повышения производительности веб-сервисов при пиковых нагрузках и проектов на Kubernetes.
Прерываемые машины и уровни производительности
Один из параметров, который задаётся при создании ВМ, — это уровень производительности vCPU. Он определяет доступную ВМ долю вычислительного времени физических ядер.
- ВМ с уровнем производительности 100% имеют непрерывный (100% времени) доступ к вычислительной мощности физических ядер. Такие ВМ предназначены для запуска приложений, требующих высокой производительности на протяжении всего времени работы.
- ВМ с уровнем производительности меньше 100% имеют доступ к вычислительной мощности физических ядер как минимум на протяжении указанного процента от единицы времени. Такие ВМ предназначены для запуска приложений, не требующих высокой производительности и не чувствительных к задержкам. Они обойдутся дешевле.
Для многих задач не требуется, чтобы виртуальная машина (ВМ) была доступна постоянно.
Например, вы настроили Jenkins для тестирования сборок (непрерывной интеграции) приложения. Изменения интегрируются несколько раз в день. Соответственно, ВМ использует ресурсы в полной мере лишь эти несколько раз в день, а в остальное время — простаивает. Получается, вы платите за постоянно доступную ВМ, хотя она вам не нужна.
В этом случае разумно создать прерываемую ВМ. Вкратце её суть такова: вы получаете вычислительные ресурсы за меньшую цену, но они могут быть отозваны в любое время. Yandex Cloud остановит прерываемую ВМ, если:
- обычным ВМ в той же зоне доступности не хватает ресурсов. Такое происходит, когда в этой зоне доступности быстро создаётся много обычных ВМ. Например, если появляется пользователь с обширными потребностями или пользователи массово масштабируются.
- с запуска прерываемой ВМ прошло больше 24 часов. Чтобы не перезапускать ВМ вручную каждый день, доверьтесь автоматике (например, сервису групп ВМ, о котором мы расскажем позже).
После остановки ВМ не удаляется, все её данные сохраняются.
Соглашение об уровне обслуживания (Service Level Agreement, или SLA) не распространяется на прерываемые ВМ. Вы можете запустить их вновь, только если в зоне доступности достаточно ресурсов. Поэтому прерываемые ВМ не подходят для решений, где требуется постоянная работа и отказоустойчивость.
👉 Виртуальную машину можно сделать прерываемой при её создании. Второй способ — изменить тип обычной ВМ, предварительно её остановив.
Вот ещё несколько задач, для которых подходят прерываемые ВМ:
- Пакетная обработка данных
Обычно такие задания обрабатываются параллельно, процессом управляет оркестратор. Если прерываемая ВМ выключится, задание получит следующий исполнитель. - Повышение производительности веб-сервисов при пиковых нагрузках
Когда посещаемость сайта резко возрастает, вам нужно на время подхватить нагрузку дополнительными ресурсами. Прерываемые ВМ отлично справятся с этой задачей. Важно включить в состав кластера и обычные ВМ, которые станут работать при стандартных нагрузках. - Проекты на Kubernetes
Оркестратор Kubernetes позволяет автоматизировать развёртывание и масштабирование контейнеризированных приложений и управление ими. Базовая единица управления Kubernetes — под. Под отвечает за запуск одного или нескольких контейнеров на узле. Планировщик Kubernetes подбирает и назначает узел для каждого пода. Если узел с запущенным подом выйдет из строя, планировщик автоматически перенесёт под на работающий узел. Поэтому некоторые узлы можно размещать на прерываемых ВМ.
- Категория: Cloud Services Engineer
- Просмотров: 720