Кратко:

Правильный ответ:

• измерениями

    9. Вы разрабатываете приложение, для хранения данных в котором используется кластер управляемой БД MySQL c двумя хостами типа s2.large и быстрым локальным хранилищем размером 100 ГБ. Размер данных и резервных копий составляет 100 ГБ. Завершив очередной этап тестирования приложения, вы остановили кластер. За какие ресурсы будет продолжать начисляться оплата?

Правильный ответ:

• хранилище данных
• хранение резервных копий

    10. С помощью политик доступа к объектному хранилищу вы можете:

Правильный ответ:

• настроить дополнительные условия действий с бакетами и объектами

Категория: Cloud Services Engineer

Просмотров: 1110

Кратко:

• Создание датасетов и чартов в DataLens
• Интеграция ClickHouse и DataLens для анализа данных
• Создание датасета с таблицей Weather из ClickHouse
• Подготовка данных: указание имен полей и агрегации показателей
• Создание чартов: линейная диаграмма и столбчатая диаграмма
• Создание дашборда с чартами и добавление заголовков и селекторов по датам
• Размещение виджетов с чартами на дашборде и изменение их размеров и положения
• Настройка публичного доступа к дашборду

Практическая работа. Создание датасетов, чартов и дашбордов

Приступим к практике. На этом уроке вы научитесь создавать чарты и дашборды. Мы пройдём по всей цепочке сущностей DataLens начиная с источника данных.

Изучая ClickHouse, мы анализировали данные о погоде с помощью SQL-запросов. Давайте посмотрим на примере того же самого набора данных, как с помощью DataLens быстро и наглядно показать отличия климата в Москве и Санкт-Петербурге.

Источник данных

ClickHouse и DataLens интегрированы друг с другом, поэтому подключение DataLens к ClickHouse можно настроить всего за пару кликов.

В консоли управления запустите кластер ClickHouse, в котором развёрнута БД с таблицей Weather, созданной вами ранее. Перейдите на страницу кластера, на панели слева выберите DataLens.

Подключение

Нажмите кнопку Создать подключение. В открывшемся диалоговом окне вы увидите, что кластер ClickHouse, из которого мы возьмём данные для анализа, имя хоста и имя пользователя БД уже указаны.

Вам осталось только дать имя подключению в пустом поле вверху, ввести пароль к БД, нажать кнопку Проверить подключение и убедиться, что всё в порядке, а потом — кнопку Создать.

Датасет

После того как подключение будет создано, DataLens выведет на панели слева таблицы из БД и предложит создать датасет. Наш датасет будет состоять из одной таблицы: db1.Weather. Перетащите её на центральную панель, и внизу откроется предпросмотр данных.

Нажмите кнопку Сохранить и задайте имя датасета.

Подготовим данные. Это важная часть аналитической работы, и её не стоит пропускать. Прежде всего укажем имена полей на русском языке. Перейдите на вкладку Поля и переименуйте их:

• LocalDateTime → Дата и время
• LocalDate → Дата
• Month → Месяц
• Day → День
• TempC → Температура
• Pressure → Давление
• RelHumidity → Влажность
• Тип WindSpeed10MinAvg → Скорость ветра
• VisibilityKm → Видимость
• City → Город

Поля Дата и время, Дата, Месяц, День, Город будут полями-измерениями, а Температура, Давление, Влажность, Скорость ветра, Видимость — полями-показателями. Зададим для показателей тип агрегации Среднее.

Чарты

Приступим к созданию первого чарта. Нажмите кнопку Создать чарт. Выберите тип чарта Линейная диаграмма и перетащите Дата в раздел X , а Температура — в раздел Y.

На этом примере видно, что средства визуализации иногда помогают быстро проверить качество датасета: есть ли в нём пропущенные или странные, выбивающиеся из общей тенденции данные.

В нашем случае можно сделать вывод о том, что в датасете не хватает данных примерно с середины 2015-го по середину 2016-го.

Разделим показатели температуры для двух городов. Для этого перетащим Город в раздел Цвета. Кроме того, округлим значения поля Дата до месяцев, чтобы лучше увидеть, как различаются данные для Москвы и Санкт-Петербурга. Для этого слева от поля Дата нажмите зелёный значок календаря и в разделе Группировка выберите округление по месяцам.

Из этого графика уже можно делать выводы. В целом температура в Москве выше, чем в Санкт-Петербурге. Летом примерно на 5 градусов, зимой — на 1−2 градуса.

Сохраните чарт, чтобы затем использовать его для дашборда.

Чтобы окончательно разобраться с температурой, построим ещё один чарт — Столбчатую диаграмму — и сравним среднегодовую температуру. Выберите тип диаграммы. Добавьте поле Город в раздел X, чтобы разделить отображение значений температуры. Также для поля Дата выберите группировку по годам.

Кроме того, для чарта понадобится задать фильтр по датам. Поскольку мы сравниваем среднегодовые значения, неполные данные за 2009 и 2019 годы отбросим. В разделе Фильтры нажмите + и выберите поле Дата.

Для этого чарта мы возьмём только данные из диапазона с начала 2010-го по конец 2018-го. Нажмите кнопку Применить фильтр и сохраните чарт.

Сделайте сами два таких же чарта с данными о скорости ветра: линейную диаграмму со среднемесячными значениями скорости ветра в городах и столбчатую диаграмму со среднегодовыми значениями.

Теперь у нас достаточно чартов для информативного дашборда.

Дашборд

На панели слева выберите Дашборды и нажмите кнопку Создать дашборд. Введите название дашборда и нажмите Создать.

Если в каталоге это первый дашборд — он откроется сразу после создания. Если в каталоге есть другие дашборды, вы увидите список. В этом случае выберите из списка только что созданный дашборд.

Теперь добавим созданные нами чарты на дашборд. Нажмите Добавить и в выпадающем списке выберите Чарт. Поочерёдно выбирайте из списка и добавляйте чарты.

В результате на дашборде появятся четыре виджета с чартами. Меняйте размеры и положение виджетов для лучшей визуализации.

Осталось лишь несколько последних штрихов. В том же пункте меню Добавить создадим пару заголовков и селектор по датам. В правом верхнем углу каждого виджета нажмите значок шестерёнки, чтобы изменить названия.

Сохраним дашборд. У вас могло получиться примерно так:

То, какие чарты сделать и как их разместить на дашборде, бывает понятно не сразу. Рассмотрите несколько вариантов, когда строите дашборд, чтобы разобраться, какая именно визуализация лучше помогает ответить на вопросы.

 

В маркетплейсе DataLens вы найдёте ещё один дашборд с погодой. Он хорошо демонстрирует возможности визуализации данных этого сервиса.

Чтобы открыть публичный доступ к дашборду, справа от его названия нажмите ··· и выберите Публичный доступ. Скопируйте ссылку. По ней дашборд будет доступен всем, с любых устройств и без аутентификации.

---

Поздравляем, вы закончили курс «Хранение и анализ данных»

На этом курсе вы научились работать с объектным хранилищем, познакомились с сервисами управляемых БД MySQL, PostgreSQL, MongoDB и ClickHouse, создали кластер Hadoop, потренировались использовать сервис визуализации и анализа данных DataLens.

Категория: Cloud Services Engineer

Просмотров: 996

Кратко:

• DataLens - это платформа для работы с данными, которая позволяет создавать датасеты из различных источников данных.
• Источники данных включают базы данных, сервисы Google Sheets, Яндекс Метрика, AppMetrica и другие.
• DataLens предоставляет возможность создавать чарты на основе датасетов и добавлять их на дашборд.
• Модель данных в DataLens состоит из полей-измерений и полей-показателей.
• Поля-измерения содержат качественные характеристики, а поля-показатели - числовые значения.
• DataLens позволяет создавать вычисляемые поля на уровне датасета или чарта.
• В DataLens доступно более 150 функций для работы с данными, включая агрегатные, логические и преобразования типов данных.

Обзор DataLens, модель данных

Работа с данными в DataLens происходит так: мы подключаем источник данных, создаём из него датасет, а на основе датасета делаем чарты, из которых составляем дашборд.

 

В качестве источника данных DataLens использует БД (ClickHouse, MySQL, PostgreSQL, SQL Server, Oracle Database, YDB, Greenplum), которые могут находиться и в облаке, и вне него, а также csv-файлы, сервисы Google Sheets, Яндекс Метрика и AppMetrica. Подойдут и другие источники, если в маркетплейсе для них есть коннекторы. Список поддерживаемых источников постоянно пополняется.

 

Для доступа к источнику данных понадобится подключение. Оно содержит информацию о параметрах доступа. Например, IP-адрес хоста БД или номер порта.

Из источника данных сервис создаёт датасет: набор данных и их описание.

Так выглядит датасет со статистикой заболеваемости коронавирусом в России

 

Датасет может работать в двух режимах. В режиме прямого доступа DataLens направляет запросы к источнику данных каждый раз, когда создаёт визуализацию. В режиме материализации DataLens один раз загружает все данные из источника в свою БД и потом на её основе строит чарты. Материализацию используют, если не хотят нагружать исходную БД.

 

На основе данных из одного или нескольких датасетов создают чарты: диаграммы, графики, картограммы и таблицы. Чарты позволяют быстро оценить данные или проверить гипотезы. Подробности обо всех типах чартов DataLens вы найдёте в документации.

Столбчатая диаграмма с общим числом случаев заболевания коронавирусом по федеральным округам

 

Чарты с данными можно добавить на дашборд. Как правило, дашборд состоит из чартов, заголовков, поясняющих надписей и селекторов, с помощью которых к данным применяют фильтры (например, выбирают диапазон дат или категорию товара).

 

На дашборде чарт помещается в отдельный блок — виджет. Вы можете передвигать виджет, изменять его размер, а также название чарта в виджете.

 

Вот так выглядит готовый дашборд.

Дашборд с информацией о ключевых показателях работы торговой сети

 

Откройте этот дашборд и посмотрите, как он позволяет анализировать данные. А на следующем уроке вы создадите дашборд сами.

 

Модель данных

 

DataLens берёт данные из одной или нескольких таблиц источника. Если таблиц несколько, то их связывают, указав одинаковые поля (столбцы или строки — в зависимости от источника). Сервис может связать таблицы и автоматически по первому совпадению имени и типа данных этих полей.

Выше показано, как DataLens загружает БД торговой сети, состоящую из пяти таблиц. Между таблицами установлены связи: таблица с данными о продажах товаров связывается с таблицей с данными о магазинах сети по полю ShopID.

 

Из данных источника DataLens формирует датасет. Датасет состоит из полей двух типов: измерение и показатель.

Поля-измерения содержат качественные характеристики (например название магазина, товара, дата покупки). В интерфейсе эти поля зелёные.

 

Поля-показатели содержат количество, т. е. это числовые значения (например стоимость заказа, цена товара). В интерфейсе эти поля синие.

 

На чартах и дашбордах по значениям измерений агрегируются значения показателей (например по дате суммируется стоимость заказов в этот день).

 

Для полей-показателей обязательно определяйте функцию агрегации (например, количество, сумма, среднее) Для полей-измерений функция агрегации не используется.

 

Остановимся на типах полей ещё раз: это очень важно! От того, как вы определите тип поля — измерение это или показатель, — зависит логика генерации запроса в источник данных и результат их визуализации.

 

Измерения (дата, название продукта, регион, тип доставки и т. д.) используются для группировки и формирования разрезов в данных и отчётах. Показатели — это агрегируемые значения, метрики (выручка, число сессий, число заказов и т. д.). Их анализируют в разрезе измерений.

 

В зависимости от того, что мы хотим отобразить на чарте, одно и то же поле может быть и измерением, и показателем. Например, если поле «Клиент»:

• измерение — то используем его для группировки показателя «Выручка» и получим отчёт с выручкой по клиентам;
• показатель — то применим к нему правило агрегации COUNTD (Count Distinсt, количество уникальных значений) и построим отчёт, группирующий клиентов по регионам, т. е. показывающий, сколько в каждом регионе уникальных клиентов.

Если вы планируете использовать поле в качестве и измерения, и показателя, то лучше продублировать его на уровне датасета и сделать два разных поля.

 

На графике элементы поля-измерения располагаются по оси X, а агрегированные значения поля-показателя — по оси Y.

DataLens также позволяет создавать вычисляемые поля. Это можно сделать на уровне датасета (тогда они будут доступны во всех чартах) или на уровне чарта (поля будут видны только в нём). Вычисляемое поле — это дополнительное поле данных, его значения рассчитываются по формуле. Формулы представляют собой выражения, в которых используются функции, имена полей датасета и константы.

 

В DataLens более 150 функций, позволяющих выполнять операции с данными: агрегатные, логические, строковые, преобразования типов данных, работы с временными рядами. Например, функция MONTH(datetime) возвращает номер месяца в году для указанной даты:

MONTH(#2019-01-23#) = 1

 

Справочник функций приведён в документации.

 

Проверьте себя

 

Среди доступных в DataLens типов чартов есть географическая карта. Она позволяет создавать визуализации в виде точечной, фоновой и тепловой карты. На тепловой карте показаны:

 

Правильный ответ:

• географические точки с разной интенсивностью закрашивания

 

Выберите правильное утверждение. Вычисляемое поле может быть:

Правильный ответ:

• и полем-измерением, и полем-показателем

 

Выберите поля датасета, которые больше всего похожи на показатели и требуют указать правило агрегации:

Правильный ответ:

• Продажа без скидки руб.
• Продажа со скидкой руб.

Представьте, что с помощью этого датасета вы хотите определить число потенциальных участников планирующейся рекламной акции «Разнообразное питание». Для этого нужно понять, сколько покупателей в прошлом месяце приобретали много разных продуктов. Дополнительный показатель из какого измерения понадобится определить?

 

Правильный ответ:

• Название продукта

Категория: Cloud Services Engineer

Просмотров: 810

Кратко:

• DataLens - сервис Yandex.Cloud для визуализации и анализа данных.
• Сервис позволяет создавать чарты и дашборды с инфографикой.
• DataLens может работать с источниками данных напрямую или кешировать их в кластере ClickHouse.
• На дашборде можно комбинировать данные из разных источников.
• DataLens позволяет настраивать права доступа к объектам.
• DataLens интегрирован с другими сервисами Яндекса.
• В маркетплейсе DataLens есть дополнительные коннекторы для источников данных и внешние датасеты.
• DataLens полностью бесплатный.

Описание и особенности DataLens

Собирать, структурировать и надёжно хранить информацию — это не самоцель. Данные — лишь сырьё для анализа, после которого принимаются решения.

Анализ информации, особенно если её много, требует усилий и времени. Этот процесс можно облегчить и ускорить с помощью визуализации данных. График или диаграмма позволят заметить тенденцию, сформулировать гипотезу о причинно-следственных связях или увидеть за цифрами важный факт.

Что такое DataLens

DataLens — сервис Yandex.Cloud для визуализации и анализа данных. Он позволяет создавать чарты — диаграммы и графики, а также строить дашборды — страницы с инфографикой. Всё, что для этого нужно, — взять источник данных, создать датасет и настроить его визуальное представление.

Пример дашборда торговой сети. На чартах находятся ключевые показатели продаж, динамика продаж по категориям товаров и по магазинам, число заявок по районам города и т. д. Фактически дашборд представляет собой аналитическую панель для быстрого управления торговой сетью

Для чего нужен DataLens

С помощью DataLens можно быстро проанализировать данные, взятые напрямую из источника. Например, бизнес-показатели — количество звонков и заказов — или данные из сервисов аналитики Яндекс Метрика и AppMetriсa. Анализ помогает сформулировать гипотезы для детальной проработки или увидеть, как развивается ситуация.

 

Настроив дашборд, вы получите инструмент для регулярного мониторинга работы сайта, приложения или всего продукта. Например, с помощью дашборда на изображении выше сотрудники торговой сети видят, успешны ли продажи, какие товары пользуются спросом, в каких районах дела идут нормально, а где сеть не особенно популярна. Хорошо построенный дашборд помогает быстрее и лучше понять, что происходит, и вовремя принять решения.

 

С помощью DataLens вы можете наглядно показать результаты исследования коллегам, руководству, бизнес-партнёрам, а если захотите — то и всему интернету. Посмотрите, например, как на публичном дашборде представлена информация о пандемии COVID-19. Вы можете легко понять, как развивается ситуация с коронавирусом в мире, в отдельных странах или регионах России.

Ключевые особенности DataLens

Работа с DataLens не требует умения писать код или продвинутых технических знаний для развёртывания и администрирования инфраструктуры. Чтобы создавать чарты и дашборды, не нужна специальная подготовка, и в этом сила DataLens.

 

Источником данных для визуализаций могут быть базы данных (облачные и локальные), плоские файлы (простые текстовые файлы с данными, например csv), Яндекс Метрика, AppMetrica и другие сервисы. DataLens может работать с источником данных напрямую или кешировать их в кластере ClickHouse, чтобы снять нагрузку с источника и обеспечить более быстрый отклик. На дашборде или графике можно комбинировать данные из разных источников.

 

DataLens позволяет настраивать права доступа к объектам, в том числе на уровне строк с данными. То есть, например, можно открыть дашборд для нескольких пользователей, но каждый из них увидит данные, доступные только для него. Например, сотрудники регионального отделения компании используют дашборд с бизнес-показателями, отражающими работу своего отделения, а центральный офис видит полную картину: и по каждому филиалу, и по компании в целом.

 

DataLens находится в экосистеме Яндекса и интегрирован с другими сервисами. Например, он из коробки работает с ClickHouse и имеет встроенные функции для работы с геоданными Яндекс Карт, что позволяет отображать данные прямо на карте.

 

В маркетплейсе DataLens есть дополнительные коннекторы для источников данных (например для подключения к 1С) и внешние датасеты (например данные Яндекс Погоды).

Ещё один немаловажный момент. В отличие от многих BI-инструментов (инструментов для бизнес-аналитики) DataLens полностью бесплатный.

 

Обсудить технические вопросы или поделиться опытом использования DataLens вы можете в Telegram-чате сообщества визуализаторов данных Yandex DataLens.

 

Проверьте себя

 

Какие источники данных подойдут для визуализации в DataLens?

 

Правильный ответ:

• Сервис AppMetrica
• Сервис Яндекс.Метрика
• Базы данных
• Плоские файлы

Категория: Cloud Services Engineer

Просмотров: 913