Главная

Срезы данных и поиск авиабилетов

Пора перейти от общего представления о данных к деталям. Откуда взялись короткие заезды на АЗС? А очень долгие? Это характерно для одной АЗС или для всех? Отличаются ли чем-то АЗС со сверхдолгими заправками от других?

Чтобы ответить на эти вопросы, нужны не все данные, а лишь их часть — срез данных. Рассмотрим работу срезов на примере покупки авиабилетов.

Закройте глаза на секунду, помечтайте об отдыхе — и вот вы уже готовы разбирать пример с поиском авиабилетов.

В вашем распоряжении датафрейм с информацией об авиабилетах. Указаны пункты вылета From и прилёта To, наличие багажа Has_luggage, прямой ли рейс Is_Direct, цена билета туда-обратно Price, даты вылета Date_From и прилёта Date_To, название авиалиний Airline, время в пути в минутах туда Travel_time_from и обратно Travel_time_to.

df = pd.DataFrame(
    {
        'From': [
            'Moscow',
            'Moscow',
            'St. Petersburg',
            'St. Petersburg',
            'St. Petersburg',
        ],
        'To': ['Rome', 'Rome', 'Rome', 'Barcelona', 'Barcelona'],
        'Is_Direct': [False, True, False, False, True],
        'Has_luggage': [True, False, False, True, False],
        'Price': [21032, 19250, 19301, 20168, 31425],
        'Date_From': [
            '01.07.19',
            '01.07.19',
            '04.07.2019',
            '03.07.2019',
            '05.07.2019',
        ],
        'Date_To': [
            '07.07.19',
            '07.07.19',
            '10.07.2019',
            '09.07.2019',
            '11.07.2019',
        ],
        'Airline': ['Belavia', 'S7', 'Finnair', 'Swiss', 'Rossiya'],
        'Travel_time_from': [995, 230, 605, 365, 255],
        'Travel_time_to': [350, 225, 720, 355, 250],
    }
)

Работа с датой и временем

Мы посчитали подозрительно долгие заправки выбросами. Но что делать с чрезвычайно короткими заправками? Изучим их подробнее. Узнаем, связана ли их продолжительность со временем заезда на АЗС.

data.head()

В столбце date_time дата и время заезда. Из описания данных известно, что время заезда указали в часовом поясе UTC+0, в формате ISO. Значит, сначала слитно идут год, месяц, день; затем буквенный разделитель даты и времени T; затем часы, минуты и секунды — снова слитно.

В курсе по предобработке вы познакомились с методом to_datetime(), который переводит строки в даты. Напомним, что в аргументе format метода to_datetime() указывают специальные обозначения, порядок которых соответствует порядку чисел в строке с датой:

• %d — день месяца (от 01 до 31);
• %m — номер месяца (от 01 до 12);
• %Y — четырёхзначный номер года (например, 2019);
• %y — двузначный номер года (например, 19);
• Z или T — стандартный разделитель даты и времени;
• %H — номер часа в 24-часовом формате;
• %I — номер часа в 12-часовом формате;
• %M — минуты (от 00 до 59);
• %S — секунды (от 00 до 59).

При выводе значений формата datetime на экран Python автоматически разделяет их символами - и :, чтобы человеку было проще воспринимать данные.

Пора научиться:

• округлять даты;
• добывать отдельные компоненты из дат, например день недели;
• «сдвигать» даты в другие часовые пояса.

О том, что операции предстоит выполнять именно с датами, аналитик сообщает pandas отдельно, через атрибут dt (от англ. date time). Атрибут dt указывает, что тип данных, к которым будут применены методы, — datetime. А значит, pandas не примет их за строки или числа.

Чтобы округлить время, применяют метод dt.round() (англ. round, «округлять»). В качестве параметра ему передают строку с шагом округления в часах, днях, минутах или секундах:

• D — day (от англ. «день»);
• H — hour (от англ. «час»);
• min или T — minute (от англ. «минута»);
• S — second (от англ. «секунда»).

Чаще всего округляют с шагом в один час:

import pandas as pd 

df = pd.DataFrame({'time': ['2011-03-01 17:34']})
df['time'] = pd.to_datetime(df['time'], format='%Y-%m-%d %H:%M')
df['time_rounded'] = df['time'].dt.round('1H') # округляем до ближайшего значения с шагом в один час
print(df['time_rounded'])

Задача 2/3

Напомним, что в датафрейме записано время UTC. Московское рассчитывают как UTC + 3 часа. Создайте столбец data['local_time'] и сохраните в нём сдвинутое на 3 часа время из столбца data['date_time']. Напечатайте первые 5 строк таблицы data.

import pandas as pd

data = pd.read_csv('/datasets/visits.csv', sep='\t')
data['date_time'] = pd.to_datetime(data['date_time'],format='%Y%m%dT%H%M%S')
#print(data.head(5))
data['local_time'] = data['date_time'] + pd.Timedelta(hours=3)
print(data.head(5))

Задача 3/3

Данные, связанные со временем, лучше округлять до той величины, которой будет достаточно для детального анализа. Чтобы проанализировать взаимосвязь между временем прибытия на АЗС и продолжительностью заезда, точность до минут и секунд не нужна. Округлите время до часов.

Выполните следующие шаги:

1. Создайте новый столбец date_hour и передайте ему значения столбца local_time, округлённые до часов.
2. Выведите первые пять строк data, чтобы проверить результаты.

Метод plot() построил графики по значениям столбцов из датафрейма. На оси абсцисс (x) расположились индексы, а на оси ординат (y) — значения столбцов. Названия для графиков указывают строкой или переменной в параметре title (англ. «название»):

df.plot(title='A и B')

Элементов в таблице слишком мало, чтобы они складывались в непрерывную линию. Добавим графику точности, передадим параметр style, со значением o, чтобы отметить значения таблицы точками.

df.plot(style='o') # 'o' похожа на кружок или точку, запомнить легко

Можно задать и другую форму точек. Например, style='х' пометит точки крестиками:

df.plot(style='x') # 'x' - точь-в-точь крестик`r

Когда нужен компромиссный вариант — и линии, и точки, — передают style='o-'.

df.plot(style='o-') # 'o-' - кружок и линия

Напомним, что по горизонтальной оси отложены индексы. Но что, если такой способ представления не годится для анализа? Можно изменить сами индексы или передать методу plot() параметры осей. Так, оси абсцисс (x) присвоим значения столбца b, а оси ординат (y) — значения столбца a:

df.plot(x='b', y='a', style='o-')

Добавим линии сетки: с ними будет легче понять, какие именно значения отображены. Укажем параметр grid (пер. «сетка, решётка»), равный True (это значит, что отображать сетку — нужно):

df.plot(x='b', y='a', style='o-', xlim=(0, 30), grid=True)

Размером графика управляют через параметр figsize (от англ. size of a figure — «размер фигуры»). Ширину и высоту области построения в дюймах передают параметру в скобках: figsize = (x_size, y_size). Сравним графики с разными размерами:

# строим маленький график
df.plot(x='b', y='a', style='o-', xlim=(0, 30), grid=True, figsize=(1, 1))

# строим большой график
df.plot(x='b', y='a', style='o-', xlim=(0, 30), grid=True, figsize=(10, 3))

Вот вы и знаете о построении графиков так много, что справитесь с визуальным представлением срезов данных по АЗС.

Результат

(

Закономерность прослеживается, только она никак не связана с короткими заездами. Оказывается, такие заезды бывают в любое время. Поэтому теперь нужно понять, стоит ли вообще исключать эти данные.

Группировка с pivot_table()

На графике видна структура с провалами плотности в районе ночных часов. Это кажется правдоподобным: машин и, как следствие, заправок ночью меньше.

Подозрительно коротких заездов (с продолжительностью менее 100 секунд) много в любое время суток. Хотя график строили по срезу, данных будто не стало меньше. Точки сливаются, делать по ним уверенные выводы трудно. Попробуем улучшить визуальное представление группировкой данных.

Прежде чем строить красивый график, позаботимся о красивом коде. В прошлом уроке вы сохранили срез в переменной sample и к ней применили метод plot():

sample = data.query('id == "3c1e4c52"')
sample.plot(
    x='local_time',
    y='time_spent',
    ylim=(0, 1000),
    style='o',
    grid=True,
    figsize=(12, 6),
)

БРИТВА ОККАМА Entia non sunt multiplicanda praeter necessitatem — «Не следует множить сущности без необходимости». Фраза раскрывает принцип, названный «Бритва Оккама» в честь философа XIII века, монаха Уильяма из английской деревушки Оккам.

Суть принципа: совершенство должно быть простым.

Если какого-то результата можно достичь с привлечением сущностей A, B и C либо другим путём с привлечением A, B, С и D — надо выбирать первый путь.

Не будем множить сущности без необходимости и избавимся от промежуточных переменных. Применим метод plot() к результату работы query() без всяких sample. Получится конструкция вида:

data.query().plot()

Вернёмся к данным по АЗС. На графике слишком много точек. Чтобы сделать его нагляднее, будем отмечать не визит, а среднюю продолжительность заправки в час. Вы уже создавали столбец date_hour с округлённым временем заезда на АЗС.

Обратимся к pivot_table(). Добавим сводную таблицу в цепочку между query() и plot():

data['date_time'] = pd.to_datetime(
    data['date_time'], format='%Y-%m-%dT%H:%M:%S'
)
data['local_time'] = data['date_time'] + pd.Timedelta(hours=3)
data['date_hour'] = data['local_time'].dt.round('1H')
(
    data.query('id == "3c1e4c52"')
    .pivot_table(index='date_hour', values='time_spent')
    .plot(grid=True, figsize=(12, 5))
)

На графике показана средняя продолжительность заправки на АЗС под номером 3c1e4c52 за каждый час. Обратите внимание, что в среднем водители проводят на АЗС около 500 секунд. Помня о пике гистограммы в 200 секунд, нельзя не удивиться такому значению.

Есть и таинственный пик, когда среднее время заправки достигло 3000 секунд (почти час). Многовато. В прошлых уроках заезды дольше 1000 секунд вообще отбрасывались, ведь они не слишком похожи на правду. Добавим соответствующее условие в query():

Средняя продолжительность заправки снизилась вполовину! Вот вы и увидели, как выбросы влияют на среднее.

Вычислим устойчивую к выбросам медиану. В pivot_table() значением параметра aggfunc передадим median.

Напомним, что в aggfunc передают функцию, которую применяют к значениям сводной таблицы. Например, метод count посчитает число значений в группе. Если в aggfunc не указать ничего, отработает расчёт среднего: `mean.

(
    data.query('id == "3c1e4c52"')
    .pivot_table(index='date_hour', values='time_spent', aggfunc='median')
    .plot(grid=True, figsize=(12, 5))
)

Обратите внимание, что даже без фильтра time_spent < 1000 медиана дала среднюю продолжительность заправки примерно в 200 секунд. Медиана устойчива к выбросам, но всё же не безупречна: пик более 800 секунд в ночь со 2 на 3 апреля выглядит аномальным значением.

В целом нет никакой явной связи между продолжительностью заезда и временем дня. Это странно. На этой АЗС не бывает очередей? Или что-то не так с данными? Число заездов в течение дня точно должно меняться. Проверьте это.

import pandas as pd

data = pd.read_csv('/datasets/visits.csv', sep='\t')
data['local_time'] = pd.to_datetime(
    data['date_time'], format='%Y-%m-%dT%H:%M:%S'
) + pd.Timedelta(hours=3)
data['date_hour'] = data['local_time'].dt.round('1H')
(
    data.query('id == "3c1e4c52"')
    .pivot_table(index='date_hour', values='time_spent', aggfunc='count')
    .plot(grid=True, figsize=(12, 5))
)

Результат

Наконец-то вы обнаружили ожидаемую закономерность! Ночью заездов на АЗС в несколько раз меньше, чем днём. Факт заезда в данных отображён правдоподобно. А вот с продолжительностью пока непонятно.

Таких аномально быстрых заездов 42%. Очень много.

Насколько равномерно они распределены по разным АЗС? Везде около 40%? Или где-то их нет, а на каких-то АЗС много? Выясните, откуда взялось такое среднее. Найдите для каждой АЗС среднее число аномально быстрых заездов. Пометьте их и сгруппируйте данные по АЗС. И по этим значениям уже постройте гистограмму.

import pandas as pd

data = pd.read_csv('/datasets/visits.csv', sep='\t')
data['too_fast'] = data['time_spent'] < 60
print(data.head(5))

Результат

Вот и знакомый булев массив! Кстати, вы никогда не задумывались, что получится, если рассчитать среднее арифметическое по такому массиву?

import pandas as pd

data = pd.read_csv('/datasets/visits.csv', sep='\t')
data['too_fast'] = data['time_spent'] < 60
print(data['too_fast'].mean())

0.42213910893586964

Теперь вы знаете, что процент быстрых заездов можно рассчитать вызовом mean() для булевых переменных: просто и удобно.

import pandas as pd

data = pd.read_csv('/datasets/visits.csv', sep='\t')
data['too_fast'] = data['time_spent'] < 60
too_fast_stat = data.pivot_table(index='id', values='too_fast', aggfunc='mean')
print(too_fast_stat.head(5))

Задача 4/5

Теперь вы знаете, сколько быстрых заездов на первых пяти АЗС в процентном отношении. Но что делать дальше — выводить на экран остальные 466 строк и изучать значения для каждой АЗС? Слишком сложно.

Гораздо лучше визуализировать распределение быстрых заездов сразу по всем АЗС. Гистограмма, вот что нужно!

Постройте гистограмму распределения значений в таблице too_fast_stat на 30 корзин.

import pandas as pd

data = pd.read_csv('/datasets/visits.csv', sep='\t')
data['too_fast'] = data['time_spent'] < 60
too_fast_stat = data.pivot_table(index='id', values='too_fast')
too_fast_stat.hist(bins=30)

Результат

Пик графика около 0.3. Значит, у большинства АЗС около 30% заездов аномально быстрые. Однако бывают и АЗС, где 100% заездов аномально быстрые! Эту проблему нужно зафиксировать и сообщить о ней коллегам, готовившим данные к анализу.

Результат

Слишком долгих заправок гораздо меньше, чем слишком коротких. На большинстве станций длительных заездов меньше 5%. Простимся с ними без печали.

Сохраняем результаты

Подведём итоги исследования.

Бывает, что заправляются долго. Причём повсюду. Только доля таких заправок невелика. В гистограммах заездов на АЗС с рекордно долгими заправками — ничего особенного, выглядят они ожидаемо.

Было решено отбросить слишком долгие заезды (более 1000 секунд), а для надёжности - вместо среднего арифметического времени рассчитывать медианное. Тогда эти заезды не исказят оценку типичной продолжительности заправки.

А вот с короткими заездами всё не так радужно. Их гораздо больше. Есть АЗС, где коротких заправок большинство, а то и все 100%. Что-то здесь не то.

Ошибка в исходных данных? Сформулируйте проблему, чтобы упростить поиск потенциальной ошибки в алгоритме выгрузки данных. Правильное сообщение об ошибке, или баг-репорт (от англ. bug report — «сообщение об ошибке»), должно чётко объяснять, в чём именно ошибка и как её найти.

Какое сообщение об ошибке позволит коллегам понять проблему и попытаться устранить её:

Данные вообще неадекватны, по ним нельзя посчитать нормально то, что нам нужно. Пользоваться этим невозможно. Проверьте, что вы там выгрузили.

В данных проблема: слишком много быстрых проездов через АЗС.

Правильный ответ Вот пример АЗС, где длительность большинства заездов меньше 60 секунд. Эти данные кажутся неправдоподобными. Такие быстрые заезды есть почти везде.

Когда была построена гистограмма распределения продолжительности заездов, было обнаружено, что форма распределения вовсе не похожа на ожидаемое распределение Пуассона, а имеет аномальный пик быстрых заездов около нуля.

print(too_fast_stat.sort_values('too_fast', ascending=False).head())

Всего один заезд. Это неудачный баг-репорт, ведь АЗС с одним заездом странная сама по себе. Если на ней и была какая-то проблема, не факт, что она массовая.

Для баг-репорта нужна «полноценная» АЗС с достаточным числом аномально быстрых заездов. После аналогичной проверки следующих id в списке было обнаружено, что нормальная статистика есть только по АЗС 792b6ded:

data.query('id == "792b6ded"').describe()

Больше 4000 заездов, но почти все очень-очень короткие. 75% укладывается в 5 секунд. Первый квартиль составляет 2 секунды. Это значит, что как минимум 25% укладывается в 2 секунды.

Это очень удачный пример для баг-репорта. Можно передать как сам id, так и статистику по этой АЗС.

Заключение

Ура! Вы узнали, что такое срезы данных и как их строить. И да, ещё внимательнее посмотрели на АЗС: выявили зависимость продолжительности заправки от времени заезда и нашли долю аномально быстрых и долгих заправок на разных станциях. Это было непросто.

Как вы это сделали:

• Применили инструменты из первой темы: hist(), boxplot(), describe() — и посмотрели на распределение.
• Построили графики методом plot().
• Научились помечать выборку в общем объёме данных (добавив столбец too_fast) и смотреть, как распределён срез в совокупности данных.
• Узнали, что такое баг-репорт и как правильно формулировать проблему, чтобы упростить поиск ошибки в алгоритме выгрузки.

Теперь коллеги точно не отвертятся и обязательно поправят данные или выгрузят новые :-)

Заберите с собой

Чтобы ничего не забыть, скачайте шпаргалку и конспект темы.

Где ещё почитать про срезы данных

Индексы и срезы по индексам
Индексация с использованием логических выражений

Проверочные задания. Изучение срезов данных

Чтобы пройти тест нужно правильно ответить на 5 вопросов из 10.
Время на прохождение: 20 минут