1\2\3\4\5\6\7\8\9\10\11\12\13\14\15\16\17\18\19\20\21\22\23

0 0\0\0\0\0\0\1\0\1\0\1\0\1\0\0\0\0\0\0\0\0\0\0

1 0\0\1\0\1\0\0\0\0\0\1\0\1\0\0\0\0\0\0\0\1\0\0

2 1\0\0\0\1\0\0\0\1\0\0\0\1\0\0\1\0\1\1\0\0\1\0

3 1\0\1\0\1\0\1\0\1\0\1\0\1\0\1\0\0\1\0\0\1\0\0

4 0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0

Послание выглядит совсем не так, как хотелось. Разделитель — обратный слэш \. В Python один обратный слэш \ используют для команд: например, \n — перевод строки. Чтобы не перепутать, пишут двойной: \. Прочитаем послание ещё раз с учётом разделителя столбцов:

arecibo = pd.read_csv('arecibo.txt', sep='\\')
print(arecibo.head()) 

1 2 3 4 5 ... 19 20 21 22 23

0 0 0 0 0 ... 0 0 0 0 0

1 0 0 1 0 ... 0 0 1 0 0

2 1 0 0 0 ... 1 0 0 1 0

3 1 0 1 0 ... 0 0 1 0 0

4 0 0 0 0 ... 0 0 0 0 0

Теперь единицы и нули строка за строкой можно превратить в квадратики, которые прочтут инопланетяне. А мы возвращаемся из дальнего космоса на бензоколонку.

import pandas as pd
data = pd.read_csv('/datasets/visits.csv', sep='\t')
print (data.head(5))

Какие выводы можно сделать, прочитав эту таблицу?

Наибольшая средняя посещаемость матчей была в сезоне 2012-2013 гг.

Можно наблюдать тренд к снижению средней посещаемости с сезона 2012-2013 гг.

Начиная с сезона 2007-2008 гг. средняя посещаемость не была ниже 17 000 зрителей.

Правильный ответ Всё вышеперечисленное верно.

Применяем сводные таблицы

Наибольшая средняя посещаемость матчей была в 2012–2013 гг. Примечательно, что в тот сезон состоялось только 48 игр вместо традиционных 82. Недостачу вызвали трудовые споры между руководством лиги и профсоюзом хоккеистов.

Начиная с сезона 2007–2008 гг. средняя посещаемость никогда не была ниже 17 000 зрителей. Значит, маркетинг лиги работает.

Наконец, в последние сезоны наблюдался тренд к снижению средней посещаемости. Это может быть связано с тем, что некоторые команды стали играть на малых стадионах.

Суровый бой ведёт ледовая дружина, а мы застряли на АЗС.

Задача

Сводные таблицы используют на разных этапах работы с данными. Можно начать с оценки данных и посчитать среднее время заправки в секундах. Нужные значения хранит столбец time_spent.

• С помощью pivot_table() вычислите среднее время, проведённое на заправках в каждой из сетей, и сохраните результат в переменную stat.
• Выведите на экран значение переменной stat и проанализируйте полученные данные. Не забудьте, что time_spent хранит значения в секундах.

import pandas as pd

data = pd.read_csv ('/datasets/visits.csv', sep='\t')
stat = data.pivot_table(index='name', values='time_spent') 
print (stat)

Базовая проверка данных

В работе с данными почти всегда вас ждут сюрпризы:

• Почему-то выгрузили не те данные или не всё, что есть.
• Ошибки в алгоритмах, считающих заезды: скажем, время заправки учли неверно.
• Не тот формат: например, вместо секунд записали минуты.
• Упущен какой-нибудь существенный факт. Так, водители могли заехать на нерабочую АЗС (а счётчик их учёл) и развернуться, не заправившись (счётчик зафиксировал очень короткое время). Словом, в данных может быть всё что угодно. Именно вы как аналитик ручаетесь за их реалистичность. Попробуйте оценить, насколько они достоверны. Начните с базовых проверок. Например, можно ответить на вопросы:
• Сколько всего заездов зафиксировано за время исследования?
• Сколько АЗС?
• Сколько заездов на одну АЗС в день?
• Какие сети АЗС самые популярные? ...И самостоятельно либо с помощью коллег оценить, похожи ли результаты ваших расчётов на правду.

Базовая проверка может обнаружить проблему в данных. Или наоборот — свидетельствовать, что с ними всё в порядке. По крайней мере, пока.

Задача 1/5

Сперва найдите количество заездов на АЗС. Одна строка в датафрейме соответствует одному посещению, значит, нужно посчитать строки.

Сохраните количество строк датафрейма в переменную total_visits. Результат выведите на экран так:

Количество заездов: ...

Количество заездов: 317104

Хорошо бы понимать, насколько это число реалистично. С чем его можно соотнести? Можно посчитать среднее количество заездов на одну АЗС в день. Чтобы получить среднее, нужно найти количество АЗС и число дней, по которым есть данные.

Количество заездов: 317104 Количество АЗС: 471

Эксперты говорят, что это число близко к числу всех АЗС в регионе. Хороший сигнал! Все АЗС охватили и не насчитали лишнего.

Количество заездов: 317104

Количество АЗС: 471

20180402T000008 20180408T235957

Наблюдения происходили с 00:00:08 2 апреля 2018 года (20180402T000008) по 23:59:57 8 апреля 2018 года (20180408T235957). Сколько это дней?

Количество заездов: 317104

Количество АЗС: 471

20180402T000008 20180408T235957

Количество заездов на АЗС в сутки: 96.17955717318775

Почти 100 заездов на АЗС с включённым Яндекс.Навигатором в день. Похоже ли это на правду? Можно допустить, что на АЗС заправляется от одной до пяти машин в минуту. Ночью — меньше. Если взять среднюю оценку: одна машина в минуту — это 1440 заездов в сутки. Выходит, с включённым Яндекс.Навигатором на заправку заезжает меньше 10% водителей. Тогда число в 100 заездов кажется близким к истине. Вроде бы с объёмом данных всё в порядке.

Задача 5/5

Вы только что нашли среднее количество заездов за день. Но будьте осторожны со средними значениями. На них влияет даже небольшое количество экстремально малых или больших значений в данных. Поэтому важно смотреть на общее распределение.

Проверьте распределение числа заездов по сетям АЗС. Можно ожидать, что больше заездов будет на популярных станциях.

Выведите на экран 10 сетей АЗС с наибольшим количеством заездов, вызвав метод value_counts() для нужного столбца. Метод автоматически отсортирует данные по убыванию количества посещений, поэтому дополнительная сортировка не понадобится.

• Посчитайте количество уникальных значений в столбце name.
• Убедитесь, что данные отсортированы в порядке убывания, и выведите первые 10 строк.

Гистограмма

На первый взгляд данные выглядят корректно.

Однако есть гипотеза, что продолжительность заправки посчитана неверно: в некоторых сетях это время выглядит неправдоподобно маленьким. Напомним, вы считали среднее арифметическое. Оно не означает, что столько времени заправляются все водители: кто-то больше, кто-то меньше. Как представить себе значения, из которых рассчитано среднее, если в таблице тысячи строк? Не просматривать же каждую. Для ответа на этот вопрос строят гистограмму.

Гистограмма — это график, который показывает, как часто в наборе данных встречается то или иное значение. Гистограмма объединяет числовые значения по диапазонам, то есть считает частоту значений в пределах каждого интервала. Её построение подобно работе знакомого вам метода value_counts(), подсчитывающего количество уникальных значений в списке. value_counts() группирует строго одинаковые величины и хорош для подсчёта частоты в списках с категориальными переменными.

Сравните гистограмму с результатом работы метода value_counts() на примере данных о «Симпсонах» — знаменитом американском мультсериале. В 2021 году выходит уже 33-й сезон и 716-й эпизод. «Симпсоны» дважды вошли в Книгу рекордов Гиннесса: как самый длинный ситком в истории и как телевизионный сериал с наибольшим количеством приглашённых звёзд.

В датасете информация об эпизодах «Симпсонов»: название, дата выхода на экран, сезон, номер в сезоне и рейтинг. Стоит ли авторам и продюсерам сериала готовить новый сезон?

Помогите команде принять решение. Найдите рейтинг эпизодов сериала в прошлом.

Ай, карамба! Такое представление данных никак не убедит продюсеров продолжать работу над «Симпсонами». Чтобы увидеть, какие оценки сериал получал чаще всего, можно построить гистограмму:

Чаще всего эпизоды получали оценки в районе 7 баллов и выше. Это очень хороший показатель для сериала. The show must go on!

В pandas гистограмму строит специальный метод hist() (от англ. histogram — «гистограмма»). Применять его можно к списку или к столбцу датафрейма: во втором случае название столбца передаётся в параметре. Метод hist() находит в наборе чисел минимальное и максимальное значения, а полученный диапазон делит на области, или корзины. Затем hist() считает, сколько значений попало в каждую корзину, и отображает это на графике.

Параметр bins (пер. «корзины, вёдра») определяет, на сколько областей делить диапазон данных. По умолчанию таких «корзин» 10.

Построим гистограмму, отображающую количество шаров в боулинге. Допустим, у нас по одному шару каждого номера от 6 до 16:

import pandas as pd

# строим гистограмму
pd.Series([6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16]).hist() 

Хотя на каждый номер приходится один шар, гистограмма не похожа на прямоугольник. Это потому, что по умолчанию параметр bins=10, а шаров 11. Передадим соответствующее число корзин и взглянем на полученный график:

pd.Series([6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16]).hist(bins=11)

Девять шаров со значениями в диапазоне от 5 до 15 и один шар с номером от 90 до 100. При таком изображении не видно тонких особенностей распределения значений в диапазоне от 5 до 15 — того, что в нём нет семёрки, а восьмёрок пара. Вернём детальность, увеличив число корзин до 100.

pd.Series([6, 8, 8, 9, 10, 11, 12, 13, 14, 100]).hist(bins=100)

На этом графике видно, что восьмёрка удвоена, а семёрка не встречается вовсе. Увеличив число корзин, мы вернули детализацию, однако гистограмма всё ещё не наглядна. 100 слишком похоже на выброс — значение, сильно отличающееся от других элементов в наборе данных.

Изменим масштаб вручную, указав диапазон значений, по которым следует строить график. Границы интересующего интервала указывают в параметре range (пер. «диапазон»): range=(min_value, max_value). Нужна область от 6 до 14:

Гистограмма даёт представление о структуре данных. В частности, по ней можно понять, откуда взялось такое среднее арифметическое. Вот 2 ряда по 10 чисел: их гистограммы очень разные, а среднее у обеих 5.

pd.Series([0, 0, 0, 0, 0, 10, 10, 10, 10, 10]).hist(range=(0, 10))

Если смотреть только на среднее значение этих наборов данных, можно сказать, что они очень похожи. Однако описывающие их гистограммы дают понять, что это два очень разных явления. В интерактивной иллюстрации ниже вы можете самостоятельно построить гистограммы для разного количества случайных значений и корзин:

Пора применить гистограмму к реальной задаче. Напомним, что средняя продолжительность заправки выглядит неправдоподобно малой.

import pandas as pd

data = pd.read_csv ('/datasets/visits.csv', sep='\t')
data['time_spent'].hist()

Почти все значения собрались в одном столбце. По такой гистограмме особо ничего и не скажешь.

Задача 3/3

Итак, гистограмма стала более информативной. Можно исключить слишком большие значения времени заправки и посмотреть на остальные. Используйте параметр range, чтобы изучить распределение значений time_spent, находящихся в диапазоне от 0 до 1500. Количество корзин оставьте прежним — 100.

import pandas as pd

data = pd.read_csv ('/datasets/visits.csv', sep='\t')
#data['time_spent'].hist()
#data['time_spent'].hist(bins=100)
data['time_spent'].hist(bins=100, range = (0,1500))

Гистограмма для двух кубиков

Аналитик должен представлять себе гистограмму ожидаемого вида, чтобы знать, когда стоит насторожиться. Для некоторых явлений можно выяснить все возможные значения и описать частоту их появления — это называется «распределение».

Отвлекитесь от задачи про АЗС и пофантазируйте. Представьте два игральных кубика с шестью гранями. Мысленно подбросьте их.

Единственная комбинация, дающая 12 очков в сумме, — это две шестёрки. А 8 можно получить разными способами: 2 и 6; 3 и 5; 4 и 4. Из-за того, что таких наборов больше, получить восьмёрку более вероятно, чем 12.

Теперь представьте, как подкидываете пару кубиков не один, а 1000 раз! Какие комбинации получатся тогда? Не бойтесь сложных задач — всё возможно, когда есть воображение.

Если вам недостаёт фантазии или умения держать 1000 чисел в голове одновременно, напишите функцию в Python. Она выдаст все возможные комбинации с их частотой, по ним-то вы и построите гистограмму.

Для генерации случайных чисел в Python вызывают библиотеку random (пер. «случайный»):

# от англ. dice — «кубик», 
#          roll — «бросок»
def dice_roll():
    score = random.randint(1, 6)  
    return score

print(dice_roll())
print(dice_roll())
print(dice_roll())

Интересно, такая гистограмма описывает только броски кубиков или характерна для других явлений?

Задача 1/2

Будем бросать на стол 10 монет и считать количество выпавших орлов. Функции для имитации одного броска и подсчёта числа орлов в нескольких бросках уже в прекоде. Мы повторили эксперимент 1000 раз и сохранили результат в переменной df_experiments.

Постройте гистограмму полученных значений с диапазоном значений от 0 до 11 и количеством корзин 11.

import random
import pandas as pd

# Функция, имитирующая один бросок монеты.
# От англ. coin - монета, flip - бросок монеты.
def coin_flip():
    # возможны два варианта:
    # - выпала решка, это +0 орлов
    # - выпал орёл, это +1 орёл
    score = random.randint(0, 1)
    return score


# Функция для суммирования числа орлов в нескольких бросках.
# Орёл и решка переводятся на английский как heads и tails.
# Аргумент repeat говорит, сколько раз бросать монету
# (от англ. repeat - повторение).
def flips_heads(repeat):
    total = 0
    for i in range(repeat):
        flip = coin_flip()
        total += flip
    return total


# Cоздаём пустой список. В него мы
# будем складывать результаты экспериментов.
experiments = []

for i in range(1000):
    score = flips_heads(10)

    # Напомним: функция append() добавляет новый
    # элемент score в конец списка experiments.
    experiments.append(score)

# превращаем список в DataFrame
df_experiments = pd.DataFrame(experiments)


# постройте гистограмму для df_experiments
df_experiments.hist(bins=11, range=(0, 11))

Чаще всего выпадает 5 орлов и совсем редко — 10 и 0. Орёл — птица гордая: пока не подкинешь, не выпадет.

import random
import pandas as pd

# Функция, имитирующая время ожидания автобуса.
# (от англ. bus - автобус, wait - ждать, time - время)
def bus_wait_time():
    return random.randint(0, 10)


# Функция, имитирующая время ожидания поезда в метро.
# (от англ. train - поезд, wait - ждать, time - время)
def train_wait_time():
    return random.randint(0, 5)


# Функция подсчёта полного опоздания за день.
# от англ. total - полный, итоговый, delay - задержка, опоздание
def total_delay():
    # обратите внимание, как в Python переносят длинные строки
    return (
        bus_wait_time()
        + train_wait_time()
        + train_wait_time()
        + bus_wait_time()
    )


# создайте пустой список
days = []

for i in range(365 * 5):
    delay = total_delay()

    # добавьте опоздание в список days
    days.append(delay)

# превращаем список в DataFrame
df_days = pd.DataFrame(days)

# постройте гистограмму для df_days
df_days.hist(bins=10)

В среднем Валерик опаздывает на работу на джентльменские 15 минут. Однако бывает, что и на полчаса! Но редко. Почти так же редко, как и приходит вовремя. Быть может, подарить Валерику джентльменские часы?

Распределения

Взгляните ещё раз на гистограммы кубиков, орлов и опозданий Валерика. Из-за того, что функция подбора случайных чисел каждый раз работает по-разному, ваши гистограммы могут немного отличаться от тех, которые вы сейчас увидите.

Гистограмма суммы очков при броске пары кубиков:

Гистограмма количества орлов при бросках монет:

Гистограмма опозданий Валерика:

Наиболее частые (типичные, нормальные) значения оказываются посередине. А редкие — по краям. График симметричен и напоминает колокол. Такое распределение называется нормальным.

Нормальные или тяготеющие к ним распределения распространены в жизни. Так распределяется рост людей, размер яблок, результаты измерения температуры. Понимание природы распределений необходимо для обнаружения важных аномалий.

Так, измеряя длину изготовленных на заводе деталей, мы ожидаем распределение, тяготеющее к нормальному. Если же в результате расчётов получили распределение, скажем, с двумя пиками, это должно насторожить аналитика. Такое может быть, если на заводе есть две производственные линии и с одной из них приходят данные в сантиметрах, а с другой — в метрах.

В общем случае любое отклонение от ожидаемого распределения — это сигнал, что данные не в порядке.

Ещё одно распределение, которое часто встречается, — распределение Пуассона. Оно описывает число событий в единицу времени.

Например, в среднем в магазин заходит два человека в минуту. Но это не значит, что каждую минуту заходит ровно два человека. Может, в эту минуту не зайдёт ни одного, а через минуту зайдёт пять. Если каждый посетитель заходит случайным образом, независимо от других, то это и есть распределение Пуассона:

Форма распределения Пуассона зависит от числа событий. При небольших значениях распределение смещено влево, а с увеличением числа событий становится симметричным и уходит вправо.

Невозможно получить отрицательное число заходов в магазин, но при небольшом потоке посетителей есть шанс, что в определённую минуту придут пять посетителей или не придёт ни одного. В таком случае распределение Пуассона обрезано на нуле и имеет длинный «хвост» в положительную сторону. При увеличении числа посетителей шанс не получить ни одного захода в магазин уже почти не реализуется, поэтому распределение Пуассона становится симметричным и стремится к нормальному.

💡 Есть и другие типичные распределения, кроме нормального и Пуассона. Каждое из них по-своему полезно, и все можно подробно изучить на курсе «Математика для анализа данных» в Практикуме.

Всё ожидаемо, есть пик на малых временах и длинный хвост на больших.

Правильный ответ Странно, что есть пик около 0.

Всё ожидаемо, есть пик на малых временах и длинный хвост на больших.

Правильный ответ Странно, что есть пик около 0.

Диаграмма размаха в Python

В Python диаграмму размаха строят методом boxplot() (от англ. box-and-whisker plot — «график „ящик с усами“»).

Посмотрим, как выглядит график для данных задачи про АЗС:

Не очень наглядно. Видно, что есть выбросы, и многие почти до 30000 секунд, однако на этом всё. Чтобы лучше разглядеть «ящик с усами», изменим масштаб графика.

Для продвинутой работы с графиками (в том числе гистограммами) импортируют библиотеку matplotlib (от англ. math — «математический», plot — «график, диаграмма», library — «библиотека»). Желая построить график, обращаются к методам pandas, а он, в свою очередь, передаёт данные matplotlib. При вызове функций рисования pandas возвращает оси графика. Ими можно управлять, задавая ограничения на оси абсцисс (x) и оси ординат (y).

Применим метод ylim(y_min, y_max) (от англ. y-limits — «пределы по оси ординат») для изменения масштаба по вертикальной оси. Если требуется поменять масштаб по горизонтальной оси, вызывают метод xlim(x_min, x_max) (от англ. х-limits — «пределы по оси абсцисс»). У обоих методов два параметра: минимальное и максимальное желаемые значения для графика. Методы вызывают из библиотеки matplotlib.

import matplotlib.pyplot as plt 

plt.ylim(-50, 500)
plt.xlim(0, 200)

Можно увидеть, что большая часть значений лежит в диапазоне до 300 секунд, что выглядит правдоподобно. Но при этом 1-й квартиль лежит на уровне менее 50 секунд, а это подозрительно.

Описание данных может быть не только дополнением к графикам, но и самодостаточной боевой единицей первичного анализа. Если в данных много столбцов или нужно сравнить несколько выборок, аналитики обращаются к числовому описанию, а не к графикам.

Изучите полученный в результате работы describe() список характерных значений. Какое из них вы ещё не проходили?

Стандартное отклонение — единственное значение, которого мы ещё не касались. Оно характеризует разброс величин и показывает, насколько значения в выборке отличаются от среднего арифметического.

Бывает, что именно стандартное отклонение позволяет понять природу распределения и выяснить, насколько значения однородны. Выборка, где все значения близки к среднему, будет охарактеризована малым стандартным отклонением. Если же стандартное отклонение велико, в наборе данных могут быть серьёзные аномалии или выбросы.

К примеру, проанализируем успеваемость двух учеников. Вот списки характерных значений школьных оценок того и другого:

Оценки Виктора Середнячко  
count    11.000000
mean      4.090909
std       0.700649 # значения в списке отличаются от среднего на 0.7 
min       3.000000
25%       4.000000
50%       4.000000
75%       4.500000
max       5.000000
dtype: float64

Оценки Ивана Контрастова 
count    11.000000
mean      4.090909
std       1.375103 # значения в списке отличаются от среднего почти на 1,4
min       2.000000
25%       3.000000
50%       5.000000
75%       5.000000
max       5.000000
dtype: float64

Середнячко Виктор: 4, 4, 5, 3, 4, 4, 4, 5, 3, 4, 5  

Контрастов Иван: 5, 5, 5, 5, 5, 5, 5, 4, 2, 2, 2

Задача

Правильно истолковать значения на диаграмме размаха трудно, особенно когда границы оси Y — это 0 и 1000. Можно сравнить числовое описание, которое выдаёт метод describe(), с диаграммой размаха. Так вы графически отобразите распределение данных и зафиксируете важные значения в числах. Обратите внимание, что значения 25% и 75% в выдаче метода describe() — это Q1 и Q3 соответственно.

Примените к таблице data метод describe() и выведите на экран список характерных значений.

import pandas as pd

data = pd.read_csv ('/datasets/visits.csv', sep='\t')
print(data.describe())