1\2\3\4\5\6\7\8\9\10\11\12\13\14\15\16\17\18\19\20\21\22\23

0 0\0\0\0\0\0\1\0\1\0\1\0\1\0\0\0\0\0\0\0\0\0\0

1 0\0\1\0\1\0\0\0\0\0\1\0\1\0\0\0\0\0\0\0\1\0\0

2 1\0\0\0\1\0\0\0\1\0\0\0\1\0\0\1\0\1\1\0\0\1\0

3 1\0\1\0\1\0\1\0\1\0\1\0\1\0\1\0\0\1\0\0\1\0\0

4 0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0

Послание выглядит совсем не так, как хотелось. Разделитель — обратный слэш \. В Python один обратный слэш \ используют для команд: например, \n — перевод строки. Чтобы не перепутать, пишут двойной: \. Прочитаем послание ещё раз с учётом разделителя столбцов:

arecibo = pd.read_csv('arecibo.txt', sep='\\')
print(arecibo.head()) 

1 2 3 4 5 ... 19 20 21 22 23

0 0 0 0 0 ... 0 0 0 0 0

1 0 0 1 0 ... 0 0 1 0 0

2 1 0 0 0 ... 1 0 0 1 0

3 1 0 1 0 ... 0 0 1 0 0

4 0 0 0 0 ... 0 0 0 0 0

Теперь единицы и нули строка за строкой можно превратить в квадратики, которые прочтут инопланетяне. А мы возвращаемся из дальнего космоса на бензоколонку.

import pandas as pd
data = pd.read_csv('/datasets/visits.csv', sep='\t')
print (data.head(5))

Какие выводы можно сделать, прочитав эту таблицу?

Наибольшая средняя посещаемость матчей была в сезоне 2012-2013 гг.

Можно наблюдать тренд к снижению средней посещаемости с сезона 2012-2013 гг.

Начиная с сезона 2007-2008 гг. средняя посещаемость не была ниже 17 000 зрителей.

Правильный ответ Всё вышеперечисленное верно.

Применяем сводные таблицы

Наибольшая средняя посещаемость матчей была в 2012–2013 гг. Примечательно, что в тот сезон состоялось только 48 игр вместо традиционных 82. Недостачу вызвали трудовые споры между руководством лиги и профсоюзом хоккеистов.

Начиная с сезона 2007–2008 гг. средняя посещаемость никогда не была ниже 17 000 зрителей. Значит, маркетинг лиги работает.

Наконец, в последние сезоны наблюдался тренд к снижению средней посещаемости. Это может быть связано с тем, что некоторые команды стали играть на малых стадионах.

Суровый бой ведёт ледовая дружина, а мы застряли на АЗС.

Задача

Сводные таблицы используют на разных этапах работы с данными. Можно начать с оценки данных и посчитать среднее время заправки в секундах. Нужные значения хранит столбец time_spent.

• С помощью pivot_table() вычислите среднее время, проведённое на заправках в каждой из сетей, и сохраните результат в переменную stat.
• Выведите на экран значение переменной stat и проанализируйте полученные данные. Не забудьте, что time_spent хранит значения в секундах.

import pandas as pd

data = pd.read_csv ('/datasets/visits.csv', sep='\t')
stat = data.pivot_table(index='name', values='time_spent') 
print (stat)

Базовая проверка данных

В работе с данными почти всегда вас ждут сюрпризы:

• Почему-то выгрузили не те данные или не всё, что есть.
• Ошибки в алгоритмах, считающих заезды: скажем, время заправки учли неверно.
• Не тот формат: например, вместо секунд записали минуты.
• Упущен какой-нибудь существенный факт. Так, водители могли заехать на нерабочую АЗС (а счётчик их учёл) и развернуться, не заправившись (счётчик зафиксировал очень короткое время). Словом, в данных может быть всё что угодно. Именно вы как аналитик ручаетесь за их реалистичность. Попробуйте оценить, насколько они достоверны. Начните с базовых проверок. Например, можно ответить на вопросы:
• Сколько всего заездов зафиксировано за время исследования?
• Сколько АЗС?
• Сколько заездов на одну АЗС в день?
• Какие сети АЗС самые популярные? ...И самостоятельно либо с помощью коллег оценить, похожи ли результаты ваших расчётов на правду.

Базовая проверка может обнаружить проблему в данных. Или наоборот — свидетельствовать, что с ними всё в порядке. По крайней мере, пока.

Задача 1/5

Сперва найдите количество заездов на АЗС. Одна строка в датафрейме соответствует одному посещению, значит, нужно посчитать строки.

Сохраните количество строк датафрейма в переменную total_visits. Результат выведите на экран так:

Количество заездов: ...

Количество заездов: 317104

Хорошо бы понимать, насколько это число реалистично. С чем его можно соотнести? Можно посчитать среднее количество заездов на одну АЗС в день. Чтобы получить среднее, нужно найти количество АЗС и число дней, по которым есть данные.

Количество заездов: 317104 Количество АЗС: 471

Эксперты говорят, что это число близко к числу всех АЗС в регионе. Хороший сигнал! Все АЗС охватили и не насчитали лишнего.

Количество заездов: 317104

Количество АЗС: 471

20180402T000008 20180408T235957

Наблюдения происходили с 00:00:08 2 апреля 2018 года (20180402T000008) по 23:59:57 8 апреля 2018 года (20180408T235957). Сколько это дней?

Количество заездов: 317104

Количество АЗС: 471

20180402T000008 20180408T235957

Количество заездов на АЗС в сутки: 96.17955717318775

Почти 100 заездов на АЗС с включённым Яндекс.Навигатором в день. Похоже ли это на правду? Можно допустить, что на АЗС заправляется от одной до пяти машин в минуту. Ночью — меньше. Если взять среднюю оценку: одна машина в минуту — это 1440 заездов в сутки. Выходит, с включённым Яндекс.Навигатором на заправку заезжает меньше 10% водителей. Тогда число в 100 заездов кажется близким к истине. Вроде бы с объёмом данных всё в порядке.

Задача 5/5

Вы только что нашли среднее количество заездов за день. Но будьте осторожны со средними значениями. На них влияет даже небольшое количество экстремально малых или больших значений в данных. Поэтому важно смотреть на общее распределение.

Проверьте распределение числа заездов по сетям АЗС. Можно ожидать, что больше заездов будет на популярных станциях.

Выведите на экран 10 сетей АЗС с наибольшим количеством заездов, вызвав метод value_counts() для нужного столбца. Метод автоматически отсортирует данные по убыванию количества посещений, поэтому дополнительная сортировка не понадобится.

• Посчитайте количество уникальных значений в столбце name.
• Убедитесь, что данные отсортированы в порядке убывания, и выведите первые 10 строк.

Гистограмма

На первый взгляд данные выглядят корректно.

Однако есть гипотеза, что продолжительность заправки посчитана неверно: в некоторых сетях это время выглядит неправдоподобно маленьким. Напомним, вы считали среднее арифметическое. Оно не означает, что столько времени заправляются все водители: кто-то больше, кто-то меньше. Как представить себе значения, из которых рассчитано среднее, если в таблице тысячи строк? Не просматривать же каждую. Для ответа на этот вопрос строят гистограмму.

Гистограмма — это график, который показывает, как часто в наборе данных встречается то или иное значение. Гистограмма объединяет числовые значения по диапазонам, то есть считает частоту значений в пределах каждого интервала. Её построение подобно работе знакомого вам метода value_counts(), подсчитывающего количество уникальных значений в списке. value_counts() группирует строго одинаковые величины и хорош для подсчёта частоты в списках с категориальными переменными.

Сравните гистограмму с результатом работы метода value_counts() на примере данных о «Симпсонах» — знаменитом американском мультсериале. В 2021 году выходит уже 33-й сезон и 716-й эпизод. «Симпсоны» дважды вошли в Книгу рекордов Гиннесса: как самый длинный ситком в истории и как телевизионный сериал с наибольшим количеством приглашённых звёзд.

В датасете информация об эпизодах «Симпсонов»: название, дата выхода на экран, сезон, номер в сезоне и рейтинг. Стоит ли авторам и продюсерам сериала готовить новый сезон?

Помогите команде принять решение. Найдите рейтинг эпизодов сериала в прошлом.

Ай, карамба! Такое представление данных никак не убедит продюсеров продолжать работу над «Симпсонами». Чтобы увидеть, какие оценки сериал получал чаще всего, можно построить гистограмму:

Чаще всего эпизоды получали оценки в районе 7 баллов и выше. Это очень хороший показатель для сериала. The show must go on!

В pandas гистограмму строит специальный метод hist() (от англ. histogram — «гистограмма»). Применять его можно к списку или к столбцу датафрейма: во втором случае название столбца передаётся в параметре. Метод hist() находит в наборе чисел минимальное и максимальное значения, а полученный диапазон делит на области, или корзины. Затем hist() считает, сколько значений попало в каждую корзину, и отображает это на графике.

Параметр bins (пер. «корзины, вёдра») определяет, на сколько областей делить диапазон данных. По умолчанию таких «корзин» 10.

Построим гистограмму, отображающую количество шаров в боулинге. Допустим, у нас по одному шару каждого номера от 6 до 16:

import pandas as pd

# строим гистограмму
pd.Series([6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16]).hist() 

Хотя на каждый номер приходится один шар, гистограмма не похожа на прямоугольник. Это потому, что по умолчанию параметр bins=10, а шаров 11. Передадим соответствующее число корзин и взглянем на полученный график:

pd.Series([6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16]).hist(bins=11)

Девять шаров со значениями в диапазоне от 5 до 15 и один шар с номером от 90 до 100. При таком изображении не видно тонких особенностей распределения значений в диапазоне от 5 до 15 — того, что в нём нет семёрки, а восьмёрок пара. Вернём детальность, увеличив число корзин до 100.

pd.Series([6, 8, 8, 9, 10, 11, 12, 13, 14, 100]).hist(bins=100)

На этом графике видно, что восьмёрка удвоена, а семёрка не встречается вовсе. Увеличив число корзин, мы вернули детализацию, однако гистограмма всё ещё не наглядна. 100 слишком похоже на выброс — значение, сильно отличающееся от других элементов в наборе данных.

Изменим масштаб вручную, указав диапазон значений, по которым следует строить график. Границы интересующего интервала указывают в параметре range (пер. «диапазон»): range=(min_value, max_value). Нужна область от 6 до 14:

Гистограмма даёт представление о структуре данных. В частности, по ней можно понять, откуда взялось такое среднее арифметическое. Вот 2 ряда по 10 чисел: их гистограммы очень разные, а среднее у обеих 5.

pd.Series([0, 0, 0, 0, 0, 10, 10, 10, 10, 10]).hist(range=(0, 10))

Если смотреть только на среднее значение этих наборов данных, можно сказать, что они очень похожи. Однако описывающие их гистограммы дают понять, что это два очень разных явления. В интерактивной иллюстрации ниже вы можете самостоятельно построить гистограммы для разного количества случайных значений и корзин:

Пора применить гистограмму к реальной задаче. Напомним, что средняя продолжительность заправки выглядит неправдоподобно малой.

import pandas as pd

data = pd.read_csv ('/datasets/visits.csv', sep='\t')
data['time_spent'].hist()

Почти все значения собрались в одном столбце. По такой гистограмме особо ничего и не скажешь.

Задача 3/3

Итак, гистограмма стала более информативной. Можно исключить слишком большие значения времени заправки и посмотреть на остальные. Используйте параметр range, чтобы изучить распределение значений time_spent, находящихся в диапазоне от 0 до 1500. Количество корзин оставьте прежним — 100.

import pandas as pd

data = pd.read_csv ('/datasets/visits.csv', sep='\t')
#data['time_spent'].hist()
#data['time_spent'].hist(bins=100)
data['time_spent'].hist(bins=100, range = (0,1500))