Кратко:
- Большие данные - это данные, размер которых увеличивается на 100 ГБ в день или более.
- Источники больших данных: социальные сети, сайты, СМИ, интернет вещей с миллионами датчиков.
- Большие данные активно используются в государственном управлении и бизнесе.
- Распределенное хранение и обработка данных, горизонтальная масштабируемость и отказоустойчивость необходимы для работы с большими данными в реальном времени.
- Apache Hadoop - первая широко распространенная технология хранения и обработки больших данных.
- Apache Spark - популярный фреймворк для распределенной потоковой обработки данных.
- Spark хранит результаты промежуточных вычислений в памяти, что дает прирост в производительности.
- Spark подходит для анализа потоковых данных в реальном времени, решения задач с параллельными операциями и машинного обучения.
- Hadoop подходит для обработки больших наборов данных, создания инфраструктуры анализа данных и пакетной обработки данных.
Большие данные, Apache Hadoop и Apache Spark
Изучая вопросы хранения, обработки и анализа данных, было бы неправильно обойти такую концепцию, как большие данные (Big Data). Давайте рассмотрим облачные технологии для работы с большими данными.
Big Data
Как понять, что данные по-настоящему большие? Обычно к таким относят данные, размер которых увеличивается хотя бы на 100 ГБ в день. Данные при этом могут быть и структурированными, и нет.
Источники больших данных в современном мире — это социальные сети, сайты и СМИ, информация, которую компании собирают для бизнеса, а также интернет вещей с миллионами датчиков. Чтобы оценить масштаб, приведём лишь несколько примеров: датчики беспилотного автомобиля генерируют примерно 6 ГБ данных за каждый километр пути, морской нефтяной платформы — до 1 ТБ за неделю, а пассажирского авиалайнера — до 20 ТБ за час полёта.
Большие данные всё активнее используются в государственном управлении и бизнесе. Например, в компьютерных играх с помощью больших данных анализируют поведение игроков и делают выводы о предпочтениях аудитории. Это позволяет лучше понимать, как развивать игру, чтобы она оставалась популярной и приносила прибыль.
Чтобы работать с такими объёмами данных в реальном времени, необходимы специальные технологии. В их основе лежат три принципа:
- Распределённое хранение и обработка. Данных много, а их обработка требует больших вычислительных ресурсов, поэтому необходимы распределённые системы из большого количества узлов. Создать такую систему и обеспечить её высокую производительность — непростая задача.
- Горизонтальная масштабируемость. Данные постоянно накапливаются, а задачи их обработки варьируются от относительно простых до очень сложных. Поэтому нужна возможность легко наращивать объёмы хранилища и гибко изменять количество узлов, на которых обрабатываются данные.
- Отказоустойчивость. Узлов в кластере много (сотни или даже тысячи), и вероятность того, что они будут выходить из строя, довольно высока. Следует построить распределённую систему так, чтобы сбой на одном или нескольких узлах не влиял на её работу в целом.
Hadoop
Первой широко распространённой технологией хранения и обработки больших данных стал фреймворк Apache Hadoop. Это платформа с открытым программным кодом, разработанная под эгидой фонда Apache Software Foundation. По сути, Hadoop — это набор утилит и библиотек для работы с данными, распределёнными между несколькими кластерами, каждый из которых состоит из сотен или даже тысяч узлов.
В основе экосистемы Hadoop лежит четыре модуля.
- Hadoop Common — набор библиотек и утилит, которые используются в других решениях, в частности для создания инфраструктуры и управления распределёнными файлами.
- HDFS — распределённая файловая система (Hadoop Distributed File System), отказоустойчивая и не требующая высокопроизводительного оборудования. Файл в системе делится на блоки, которые распределяются между узлами вычислительного кластера (DataNode). Данные файловой системы и информация о распределении блоков и об узлах данных, содержащих эти блоки, хранится на центральном узле имён (NameNode). HDFS надёжно хранит крупные файлы за счёт дублирования и репликации блоков.
- YARN (Yet Another Resource Negotiator) — система управления ресурсами, обеспечивающая безопасное планирование заданий и управление данными. Это набор программ, предоставляющих удобный интерфейс между аппаратными ресурсами кластера и приложениями, использующими эти ресурсы для вычислений и обработки данных.
- MapReduce — система распределённых вычислений для обработки больших данных.
Вычисления происходят локально: обрабатывающая данные программа копируется на узлы с данными и выполняется там. В MapReduce входной набор данных разбивается на независимые блоки, а задание для их обработки — на подзадачи map и reduce.
Подзадачи map — это применение функции к блоку данных. Эти подзадачи выполняются одновременно над разными блоками, а результаты записываются на диски с исходными данными. Подзадачи reduce — это агрегация результатов выполнения map с разных узлов.
Пример задачи MapReduce — подсчёт числа вхождений каждого слова в тексте. Map определяют, какие слова и сколько раз входят в каждую строку. Reduce суммируют значения. Посмотрите в руководстве MapReduce, как решается эта задача.
Классическая конфигурация кластера Hadoop состоит из сервера имён (NameNode), узла-мастера MapReduce (JobTracker) и набора узлов, на каждом из которых развёрнуты сервер данных (DataNode) и так называемый воркер (TaskTracker).
Все операции в MapReduce подразумевают чтение с жёсткого диска и запись на него. Часто время, необходимое для этих операций, в разы превышает время самих вычислений. Поэтому технология MapReduce хорошо работает при распределённых вычислениях в пакетном режиме: когда данные подаются на обработку отдельными большими пакетами. А вот для обработки потоков данных в реальном времени она не подходит. Для таких задач разработаны фреймворки распределённой потоковой обработки данных, наиболее популярный из них — это Apache Spark.
Apache Spark
Одно из основных отличий Spark от Hadoop заключается в том, что он хранит результаты промежуточных вычислений в памяти, не записывая их на диск. Это даёт большой прирост в производительности.
В основе Spark лежит движок, управляющий планированием и оптимизацией выполнения заданий, а также работой с источником данных (HDFS, объектным хранилищем или БД). Поверх ядра работают библиотеки. Вот основные из них:
- Spark SQL — чтобы запускать SQL-подобные команды в распределённых наборах данных;
- MLlib — для машинного обучения;
- Structured Streaming — для потоковой обработки данных в реальном времени;
- GraphX — для задач с графами.
Spark и Hadoop используются для разных задач и дополняют друг друга.
Hadoop подходит, чтобы:
- обрабатывать большие наборы данных, когда объём даже промежуточных результатов вычислений превышает доступную память;
- создавать инфраструктуру анализа данных при ограниченном бюджете (Spark требует много оперативной памяти, так что его использование более затратно);
- решать задачи, если времени на них достаточно и не требуется немедленно получить результаты;
- заниматься пакетной обработкой данных, выполнять много операций чтения с диска и записи на него (например анализ исторических и архивных данных).
Spark подходит, когда:
- нужно анализировать потоковые данные в реальном времени;
- скорость решения задачи принципиально важна;
- задачи включают много параллельных операций с использованием итерационных алгоритмов;
- задачи связаны с машинным обучением.