ИАД. Изучение срезов данных

Изучим только рейсы из Москвы. Нужен код, работающий как фильтр. Он берёт в будущий срез строки со значением Moscow в столбце From, а лишние строки со значением St. Petersburg не возьмёт.

Этим фильтром может стать булев массив, состоящий из True и False. Так, значениями True отметим, что хотим включить строку c Moscow в срез данных. А False обозначим ненужные для среза строки.

Составим булев массив и назовём его filter_list:

Однако размечать нужные строки вручную — занятие утомительное. Построим фильтр автоматически. Сперва соберём список, где строкам с Moscow соответствуют значения True, а остальным — False.

Отлично! Вы узнали, как задавать условия для получения срезов. Приём одинаково эффективен для датафреймов в 5, 10, 200 и 1000000 строк. Условием создания булева массива может выступать не только равенство, но и другие операции сравнения: !=, >, >=, <, <=.

Бюджет на отпуск даже у аналитиков ограничен. Выведем срез данных, где цена на билет меньше 21000 рублей:

Оператор ~ можно использовать и для проверки одного условия, например, чтобы отобрать билеты без багажа: ~(df['Has_luggage']).

Обратите внимание, что здесь условия указывают в скобках — в отличие от синтаксиса логических операций Python с or, and или not.

import pandas as pd

df = pd.DataFrame(
    {
        'From': [
            'Moscow',
            'Moscow',
            'St. Petersburg',
            'St. Petersburg',
            'St. Petersburg',
        ],
        'To': ['Rome', 'Rome', 'Rome', 'Barcelona', 'Barcelona'],
        'Is_Direct': [False, True, False, False, True],
        'Has_luggage': [True, False, False, True, False],
        'Price': [21032, 19250, 19301, 20168, 31425],
        'Date_From': [
            '01.07.19',
            '01.07.19',
            '04.07.2019',
            '03.07.2019',
            '05.07.2019',
        ],
        'Date_To': [
            '07.07.19',
            '07.07.19',
            '10.07.2019',
            '09.07.2019',
            '11.07.2019',
        ],
        'Airline': ['Belavia', 'S7', 'Finnair', 'Swiss', 'Rossiya'],
        'Travel_time_from': [995, 230, 605, 365, 255],
        'Travel_time_to': [350, 225, 720, 355, 250],
    }
)
print(df[df['Price'].max()/1.5 > df['Price']]) # впишите нужное условие

Задача №2/3

Выберите строки, где значения столбца Travel_time_from больше или равны 365 или значения Travel_time_to меньше 250. Результат выведите на экран.

import pandas as pd

df = pd.DataFrame(
    {
        'From': [
            'Moscow',
            'Moscow',
            'St. Petersburg',
            'St. Petersburg',
            'St. Petersburg',
        ],
        'To': ['Rome', 'Rome', 'Rome', 'Barcelona', 'Barcelona'],
        'Is_Direct': [False, True, False, False, True],
        'Has_luggage': [True, False, False, True, False],
        'Price': [21032, 19250, 19301, 20168, 31425],
        'Date_From': [
            '01.07.19',
            '01.07.19',
            '04.07.2019',
            '03.07.2019',
            '05.07.2019',
        ],
        'Date_To': [
            '07.07.19',
            '07.07.19',
            '10.07.2019',
            '09.07.2019',
            '11.07.2019',
        ],
        'Airline': ['Belavia', 'S7', 'Finnair', 'Swiss', 'Rossiya'],
        'Travel_time_from': [995, 230, 605, 365, 255],
        'Travel_time_to': [350, 225, 720, 355, 250],
    }
)
print(df[(df['Travel_time_from']>=365) | (df['Travel_time_to']<250)]) # впишите нужное условие

Задача 3/3

Выберите строки, где:

• полёт с пересадкой;
• прилёт до 8 июля (ни 9, ни 10, ни 11 июля).

Результат выведите на экран.

import pandas as pd

df = pd.DataFrame(
    {
        'From': [
            'Moscow',
            'Moscow',
            'St. Petersburg',
            'St. Petersburg',
            'St. Petersburg',
        ],
        'To': ['Rome', 'Rome', 'Rome', 'Barcelona', 'Barcelona'],
        'Is_Direct': [False, True, False, False, True],
        'Has_luggage': [True, False, False, True, False],
        'Price': [21032, 19250, 19301, 20168, 31425],
        'Date_From': [
            '01.07.19',
            '01.07.19',
            '04.07.2019',
            '03.07.2019',
            '05.07.2019',
        ],
        'Date_To': [
            '07.07.19',
            '07.07.19',
            '10.07.2019',
            '09.07.2019',
            '11.07.2019',
        ],
        'Airline': ['Belavia', 'S7', 'Finnair', 'Swiss', 'Rossiya'],
        'Travel_time_from': [995, 230, 605, 365, 255],
        'Travel_time_to': [350, 225, 720, 355, 250],
    }
)
print(df[(df['Is_Direct']==0) & (df['Date_To']<'08.07.2019')]) # впишите нужное условие

Условия, указанные в параметре query():

• Поддерживают разные операции сравнения: !=, >, >=, <, <=.
• Проверяют, входят ли конкретные значения в список, конструкцией: Date_To in ["07.07.19", "09.07.2019"]. Если нужно узнать, нет ли в списке определённых значений, пишут так: Date_To not in ["07.07.19", "09.07.2019"].
• Работают с логическими операторами в привычном виде, где «или» — or , «и» — and, «не» — not. Указывать условия в скобках необязательно. Без скобок операции выполняются в следующем порядке: сначала not, потом and и, наконец, or.

Обратите внимание, что значение "Barcelona" в коде задачи заключено в двойные кавычки. Это нужно, чтобы различать одинарные кавычки, оформляющие строку, и кавычки для элемента Barcelona.

Условия для среза данных можно объединять. Например, чтобы отыскать прямые рейсы или билеты с включённым в стоимость багажом — мало кому нравится летать со множеством пересадок, да ещё и без вещей.

print(df.query('Is_Direct == True or Has_luggage == True'))

Возможности query()

Кроме объединения условий, в query() можно проводить математические операции:

df.query('Travel_time_from < 2 * Travel_time_to ')

Задача 1/2

Выберите строки, где: Has_luggag равно False и Airline не равно ни S7, ни Rossiya. Напечатайте полученную выборку на экране.

import pandas as pd

df = pd.DataFrame(
    {
        'From': [
            'Moscow',
            'Moscow',
            'St. Petersburg',
            'St. Petersburg',
            'St. Petersburg',
        ],
        'To': ['Rome', 'Rome', 'Rome', 'Barcelona', 'Barcelona'],
        'Is_Direct': [False, True, False, False, True],
        'Has_luggage': [True, False, False, True, False],
        'Price': [21032, 19250, 19301, 20168, 31425],
        'Date_From': [
            '01.07.19',
            '01.07.19',
            '04.07.2019',
            '03.07.2019',
            '05.07.2019',
        ],
        'Date_To': [
            '07.07.19',
            '07.07.19',
            '10.07.2019',
            '09.07.2019',
            '11.07.2019',
        ],
        'Airline': ['Belavia', 'S7', 'Finnair', 'Swiss', 'Rossiya'],
        'Travel_time_from': [995, 230, 605, 365, 255],
        'Travel_time_to': [350, 225, 720, 355, 250],
    }
)
# впишите условие создания нужной выборки
print(df.query('Has_luggage==False and Airline!="S7" and Airline!="Rossiya"')) 

Задача 2/2

Выберите строки, где Airline равно Belavia, S7 или Rossiya, при этом Travel_time_from меньше переменной под названием max_time. Напечатайте полученную выборку на экране.

import pandas as pd

df = pd.DataFrame(
    {
        'From': [
            'Moscow',
            'Moscow',
            'St. Petersburg',
            'St. Petersburg',
            'St. Petersburg',
        ],
        'To': ['Rome', 'Rome', 'Rome', 'Barcelona', 'Barcelona'],
        'Is_Direct': [False, True, False, False, True],
        'Has_luggage': [True, False, False, True, False],
        'Price': [21032, 19250, 19301, 20168, 31425],
        'Date_From': [
            '01.07.19',
            '01.07.19',
            '04.07.2019',
            '03.07.2019',
            '05.07.2019',
        ],
        'Date_To': [
            '07.07.19',
            '07.07.19',
            '10.07.2019',
            '09.07.2019',
            '11.07.2019',
        ],
        'Airline': ['Belavia', 'S7', 'Finnair', 'Swiss', 'Rossiya'],
        'Travel_time_from': [995, 230, 605, 365, 255],
        'Travel_time_to': [350, 225, 720, 355, 250],
    }
)
max_time = 300
# впишите условие создания нужной выборки
print(df.query('(Travel_time_from < @max_time) and (Airline=="Belavia" or Airline=="S7" or Airline=="Rossiya") '))

Срезы в действии

Наконец-то вы готовы строить срезы на практике.

Вспомните, как выглядела диаграмма размаха времени, проведённого на АЗС:

data.boxplot();

Есть несколько заездов со временем около 30 000 секунд (это около 8 часов). Крайне маловероятно, что водители заправляются так долго. Они повстречали свою любовь или случайно вырвали заправочный пистолет? А может, всё одновременно?

У вас есть всё необходимое, чтобы с этим разобраться.

Чтобы построить графики, обращаются к библиотеке matplotli (от англ. mathematical plotting library, «библиотека математических построений»). Точнее, к её модулю — pyplot:

import matplotlib.pyplot as plt

Задача 1/3

Итак, нужно разобраться с аномалиями в выборке. Для начала найдите АЗС с самыми большими значениями в столбце time_spent.

Одной строкой кода отсортируйте таблицу по убыванию значений в столбце time_spent и выведите на экран первые 10 строк всей таблицы.

import pandas as pd

data = pd.read_csv('/datasets/visits.csv', sep='\t')
print(data.sort_values(by='time_spent', ascending=False).head(10))

Задача 2/3

Четыре из десяти самых долгих заездов произошли на станции под номером 3c1e4c52. Аналитик данных непременно спросит: «А как распределение времени, проведённого на этой АЗС, соотносится с распределением времени заездов в целом?» Нужно проверить. Для этого сделайте срез данных и извлеките всю информацию о станции 3c1e4c52.

• Сделайте срез data по АЗС с id == "3c1e4c52" и сохраните результат в переменную sample.
• Выведите на экран число заездов на эту АЗС.

import pandas as pd

data = pd.read_csv('/datasets/visits.csv', sep='\t')
sample = data.query('id == "3c1e4c52"')
print(sample['date_time'].count())

Задача №3/3

Нужно сравнить распределение времени пребывания на станции 3c1e4c52 с распределением времени пребывания на всех АЗС. Если они сильно различаются, возможно, станция 3c1e4c52 представляет собой статистический выброс.

• Методом hist() постройте две гистограммы распределения значений в столбце time_spent: одну для объекта data, вторую — для sample. Не забудьте использовать plt.show() после каждого вызова hist(). Для обеих гистограмм задайте одинаковые аргументы: range — от 0 до 1500, bins — 100.

import pandas as pd
import matplotlib.pyplot as plt

data = pd.read_csv('/datasets/visits.csv', sep='\t')
sample = data.query('id == "3c1e4c52"')
data['time_spent'].hist(range=(0,1500), bins=100)
plt.show()
sample['time_spent'].hist(range=(0,1500), bins=100)
plt.show()