Кратко:
- Сервис Yandex Data Transfer ускоряет миграцию данных и минимизирует простой при переключении на новую БД.
- Сервис можно использовать не только для миграции данных, но и для других задач, таких как тестирование и аварийное восстановление.
- Data Transfer позволяет организовать окружение для нового участника и перенести данные в локальные базы.
- С помощью Data Transfer можно разделить и объединить БД, а также перенести разный набор таблиц в каждую новую базу.
- Эндпоинты и трансферы - основные понятия сервиса Data Transfer.
- Трансферы бывают разных типов, включая копирование и репликация.
- При копировании скорость достигает 15 МБ/с, а при репликации пропускная способность составляет 20-30 тысяч транзакций в секунду.
Data Transfer. Инструмент для миграции баз данных
Как вы могли убедиться на предыдущем уроке, миграция данных бывает довольно трудоёмкой.
Сервис Yandex Data Transfer позволяет ускорить миграцию и минимизировать простой при переключении на новую БД. Чтобы перенести данные, вам не нужно устанавливать драйверы: вся настройка делается в консоли управления. При этом исходная и целевая БД должны быть одинаковы, а структуры схем, типы данных и коды — совместимы.
Сервис можно использовать не только для миграции данных, но и для других задач.
Тестирование Yandex Cloud
Если вы тестируете сервисы управляемых БД MySQL и PostgreSQL, то лучше делать это на реальных данных. С помощью Data Transfer легко перенести данные в эти сервисы.
Аварийное восстановление
Data Transfer позволяет организовать миграцию данных из Yandex Cloud в локальную БД. На вашем сервере всегда будет актуальная копия данных, пригодная для аварийного восстановления.
Организация разработки и разделение нагрузки
Если разработчики, тестировщики или аналитики вашего продукта используют инфраструктуру Yandex Cloud, то вы быстро организуете окружение для нового участника. За актуальную копию данных в окружении отвечает Data Transfer.
Схема работает и в обратном направлении, когда актуальная стабильная версия сервиса базируется в Yandex Cloud, а для организации рабочего процесса необходима реплика данных в локальных базах. При этом основная БД не будет испытывать лишнюю нагрузку.
Разделение и объединение БД
С помощью Data Transfer можно разделить БД и в каждую новую базу можно перенести разный набор таблиц исходной базы. Также с его помощью можно объединить несколько БД. Например, при миграции в Yandex Cloud вы соберёте данные в единую БД в одном из сервисов управляемых БД. Объединяются только однородные БД.
Основные понятия сервиса — эндпоинт и трансфер.
Эндпоинт — это конфигурация для подключения к БД. Эндпоинты доступны для следующих БД:
- Пользовательская БД BigQuery.
- БД ClickHouse — пользовательская или в составе сервиса Managed Service for ClickHouse.
- БД Greenplum — пользовательская или в составе сервиса Managed Service for Greenplum.
- БД MongoDB — пользовательская или в составе сервиса Managed Service for MongoDB.
- БД MySQL — пользовательская или в составе сервиса Managed Service for MySQL.
- Пользовательская БД Oracle.
- БД PostgreSQL — пользовательская или в составе сервиса Managed Service for PostgreSQL.
- БД Managed Service for YDB — в составе сервиса Managed Service for YDB.
Эндпоинты делятся на два типа:
- Источник описывает настройки БД, откуда передаётся информация.
- Приёмник описывает настройки БД, куда переносится информация.
Трансфер — это перенос данных из источника в приёмник. Трансфер должен находиться в одном каталоге с эндпоинтами, которые соединяет.
Трансферы бывают следующих типов:
Копирование — перенос снапшота (моментального снимка) БД.
Репликация — непрерывное получение изменений из БД источника и применение их к БД приёмника.
Копирование и репликация — перенос состояния базы источника в базу приёмника и поддержка этого состояния.
При копировании скорость достигает 15 МБ/с. База размером 100 ГБ скопируется за 2–3 часа. При репликации пропускная способность составляет 20–30 тысяч транзакций в секунду.
Поздравляем, вы завершили тему «Сервисы управляемых реляционных баз данных»
В этой теме вы узнали, как устроены сервисы управляемых БД, научились создавать кластеры реляционных БД MySQL и PostgreSQL, подключаться к ним, добавлять данные в БД и делать резервные копии базы. Дальше вы узнаете об особенностях других управляемых БД — нереляционных.