Аналитики описывают, изучают и описывают данные для исследования.
Описательная статистика включает основные формулы и определения.
Анализ центра и разброса данных - важный аспект описательной статистики.
Визуализации для анализа центра и разброса данных также изучаются.
Описательная статистика важна для специалистов, работающих с данными.
Аналитики учатся выбирать подходящие метрики для описания данных.
Строят гистограммы разных типов для дискретных и непрерывных величин.
Оценивают разброс данных с помощью дисперсии и стандартного отклонения
Когда аналитики получают данные для исследования, они первым делом их описывают, изучают их характеристики и особенности. Эти процессы относятся к описательной статистике, с основами которой вы познакомитесь в этой теме.
Кроме основных формул и определений, вы узнаете, что такое анализ центра и разброса данных, как строить визуализации для них и многое другое. Эти знания вы сможете применять на практике и убедитесь, насколько описательная статистика важна для каждого специалиста, который работает с данными.
Вы научитесь
выбирать подходящие метрики для описания данных;
строить гистограммы разных типов как для дискретных, так и для непрерывных величин;
оценивать разброс данных с помощью дисперсии и стандартного отклонения.
Типы переменных
Кратко:
Переменные бывают категориальными (качественными) и количественными (числовыми).
Количественные переменные принимают числовые значения, категориальные - определяют номер или позицию из ограниченного набора значений.
Непрерывные переменные могут принимать любое численное значение, дискретные - только числовые значения из определенного набора.
Примеры непрерывных переменных: время на сайте, вес котика, размер обуви.
Примеры дискретных переменных: номер школы, группа крови, цвет светофора
Категориальные и количественные переменные
Из курса по предобработке данных вы знаете, что переменные бывают категориальными (их еще называют качественными) и количественными (числовыми).
Количественная переменная принимает числовые значения — за что и получила своё второе название. Числовым значением может быть количество проданных машин, время пребывания человека на сайте, прибыль компании за месяц.
Категориальные переменные, в свою очередь, не характеризуют величину численно, а определяют её номер или позицию из определённого набора значений. Таким образом, категориальные величины могут принимать значения только из некоторого ограниченного набора. Например, номер школы может принимать любое значение из набора номеров, которыми принято обозначать школы. Такой номер никак не характеризует школу и лишь определяет конкретное учебное заведение из общего набора. Например, № 4 в названии школы не означает, что она четвёртая по счёту или превосходит школу № 3 по какому-то показателю.
Другой пример — группа крови. Её значение не описывает кровь численно, а определяет конкретный тип крови из всего набора: 0 (I), A (II), B (III), AB (IV). Категориальные величины (в этом уроке «величины» — синоним «переменных») могут быть выражены не только числами, поэтому их и называют качественными. Например, цвет сигнала светофора — красный, жёлтый, зелёный — это тоже категориальная величина.
Выберите из списка только категориальные переменные.
Номер дома
Это категориальная величина. Несмотря на то что она выражена числом, категориальная величина никак не характеризует дом, а только показывает его номер в наборе домов.
Правильный ответ
Производитель автомобиля
Это категориальная величина. Может принимать значения: Hyundai, KIA, Lada, Ford, Mercedes-Benz или другие из ограниченного списка.
Непрерывные и дискретные переменные
И число проданных машин, и количество проведённого на сайте времени — примеры численных переменных. Но между ними есть серьёзное различие: время пребывания на сайте может принимать любое значение, тогда как число проданных машин может быть только целым.
Рассмотрим пример со временем на сайте. В зависимости от того, насколько точны вычисления, эта величина может принимать разные значения: 5 минут, 5 минут 13 секунд, 5 минут 13 секунд и 25 микросекунд и так далее. Аналогично с весом котика. В зависимости от точности весов он может весить 8 килограммов, 8 килограммов и 20 граммов, 8 килограммов и 156 миллиграммов. Таким образом, эта величина может принимать любое значение.
Переменные, которые могут принимать любое численное значение, называются непрерывными.
А вот число проданных машин не может принимать любое значение, поскольку невозможно продать 15.3 машины, то есть 15 целых машин и ещё кусочек 16-й. Таким образом, число проданных машин будет равно 15 или 16.
Переменные, которые могут принимать только числовые значения из определённого набора значений, называются дискретными. Дискретной величиной могут быть как целые, так и дробные числа.
Не путаться между дискретными и непрерывными переменными поможет простой тест.
Предположим, нужно проверить число новых студентов — это непрерывная или дискретная переменная? Возьмём некоторый интервал значений, в пределах которого может меняться эта переменная, например от 0 до 10. Выберем наугад любое значение из этого интервала, пусть будет число 6.387. Может ли число новых студентов равняться 6.387? Нет, как не может быть полтора землекопа в задаче из мультфильма «Страна невыученных уроков».
Таким образом, переменная является дискретной, если она не может принять любое значение. Переменная, которая может принять любое значение, является непрерывной.
Другой пример: размер мужской обуви — это непрерывная или дискретная переменная?
Согласно утверждённым в России стандартам, эта величина может принимать значения от 38 до 47. При этом не всем подходит обувь полного размера — его обозначают целым числом, и поэтому существуют «половинки» — обувь размера 41.5, 42.5 и так далее. Размер обуви может меняться в большую или меньшую сторону только на целое число или на 0.5. Это значит, что размера обуви со значением 42.7831 не существует. Таким образом, эта переменная может принимать не любое числовое значение, а лишь значение из определённого набора и, следовательно, является дискретной.
Правильный ответ
Скорость машины
Скорость машины может принимать различные значения в зависимости от того, как точно её измеряют. Поэтому эта величина непрерывная.
Правильный ответ
Уровень воды в море
Уровень воды в море может принимать различные значения в зависимости от того, как точно его измеряют. Поэтому это непрерывная величина.
Запомнить типы переменных легче всего на примере с котами:
Мода и медиана
Кратко:
Мода - наиболее часто встречающееся значение в наборе данных.
Медиана - делит набор данных на две равные части.
Мода хорошо подходит для дискретных переменных, но не всегда для непрерывных.
Медиана используется для непрерывных величин.
Для нечетного количества элементов медиана - центральный элемент в отсортированном наборе.
Для четного количества элементов медиана - среднее арифметическое двух центральных элементов.
В Python для нахождения моды и медианы можно использовать методы mode и median из библиотеки pandas
Мода
Когда аналитик данных определился с типом величины, его задача — описать её. Сделать это можно по-разному, в статистике же для описания некоторой величины используются два основных типа характеристик: характеристики положения и характеристики разброса. В этом уроке вы узнаете о некоторых характеристиках первого типа.
Характеристики положения описывают то, где находится условный центр набора данных. Первый и самый простой вариант описать центр некоторого набора данных — вычислить моду.
Мода — это значение, которое величина принимает наиболее часто.
Представим такой набор данных: 1, 4, 1, 6, 7, 1. Наиболее часто встречающееся значение в нём — 1. В наборе единица встречается трижды, остальные числа — по одному разу. Следовательно, мода равна 1.
Проведём это же вычисление с помощью Python. Чтобы вычислить моду, нужно воспользоваться методом mode из библиотеки pandas:
import pandas as pd
a = pd.Series([1, 4, 1, 6, 7, 1])
mode = a.mode()[0]
print(f'Мода набора данных равна {mode}')
Метод mode возвращает набор данных типа pd.Series, в котором лежат самые часто встречающиеся элементы. В данном случае мода — лишь одно число 1, поэтому мы взяли только нулевой элемент pd.Series. Иногда в наборе данных может быть несколько мод, поскольку количество самых часто встречающихся элементов в нём больше одного. Например, в наборе данных 2, 1, 2, 2, 1, 1, 7, 5 две моды — 1 и 2. Каждое из этих значений в наборе встречается чаще всего — по три раза.
Мода набора данных 2, 4, 1, 4, 5, 3 равна 4.
Значение 44 действительно встречается чаще всего в этом наборе.
Правильный ответ
Мода — это самое часто встречающееся значение из набора данных.
Модой набора данных будет наиболее часто встречающее в нём значение.
Мода набора данных 2, 4, 1, 4, 5, 3 равна 1.
Медиана
Мода позволяет определить самые частые значения в наборе данных, но у этой характеристики есть некоторые ограничения. Так, она отлично описывает дискретные переменные, но не всегда достаточно хорошо характеризует непрерывные величины.
Например: пусть набор данных описывает время (в минутах), которое пользователь провёл на сайте: 2.3, 2.1, 2.4, 2.5, 2. В этом случае мода — каждое значение, так как все они встречаются по одному разу. Поэтому для непрерывных величин чаще, чем мода, используется другая характеристика — медиана.
Представьте некоторый набор данных. Медиана — значение, которое делит его на две равные части: в первой части находятся значения, которые меньше самой медианы, во второй — значения, которые больше неё. Так, медиана набора данных 1, 2, 3, 4, 5, 6, 7 равна 4. Она делит набор данных на две равные части: в первой находятся три числа, столько же во второй. Первые три числа меньше 4, следующие три — больше.
Как вычислить медиану:
Если число элементов в наборе данных нечётно, то медиана — это центральный элемент в отсортированном наборе данных.
Если число элементов в наборе данных чётно, то медианой может служить любое число между двумя центральными элементами в отсортированном наборе данных. Так половина всех значений окажется больше, а половина — меньше. Принято брать среднее арифметическое между ними.
Разберём на примере с набором данных, который описывает время пользователя на сайте: 2.3, 2.1, 2.4, 2.5, 2. Чтобы вычислить медиану, нужно отсортировать исходный набор по возрастанию: 2, 2.1, 2.3, 2.4, 2.5. Поскольку количество значений в этом наборе нечётно, медианой в нём будет центральный элемент — 2.3.
Если число элементов в наборе чётное, медиана равна среднему арифметическому двух центральных элементов. Рассмотрим на том же примере. Добавим в имеющийся набор данных значение 1.9, чтобы количество элементов стало чётным. Возьмём отсортированный набор 1.9, 2, 2.1, 2.3, 2.4, 2.5 и найдём для него медиану. Если в наборе чётное количество элементов, медианой будет любое число между двумя центральными элементами — 2.1 и 2.3 в этом примере. Принято в качестве медианы брать среднее этих двух элементов, а значит, рассчитываться она будет так: 2.1+2.32=4.42=2.2.
Правильный ответ
Медиана набора данных 10, 13, 9, 19.4, 20 равна 13.
В наборе нечётное количество элементов, а значит, медиана равна центральному элементу — 13.
Правильный ответ
Медиана набора данных 5, 4, 3, 4 равна 4.
Так как в наборе чётное количество элементов, его медиана будет равна среднему арифметическому двух центральных элементов, в примере это 4 и 4. Тогда медиана этого набора равна: 4+42=82=4.
Проверим с помощью Python, нет ли ошибок в расчёте медианы для примеров выше. Чтобы найти медиану некоторого набора данных, нужно воспользоваться методом median:
import pandas as pd
first = pd.Series([2.3, 2.1, 2.4, 2.5, 2])
print('Медиана исходного набора данных равна', first.median())
second = pd.Series([2.3, 2.1, 2.4, 2.5, 2, 1.9])
print('Медиана дополненного набора данных равна', second.median())
Результаты показывают, что ошибок нет.
Задание 1
Найдите моду и медиану приведённого ниже набора данных.
import pandas as pd
data = pd.Series([1, 1, 2, 3, 2, 1, 4])
# напишите ваш код здесь
data_median = data.median()
# напишите ваш код здесь
data_mode = data.mode()[0]
print(f'Мода набора данных: {data_mode}. Медиана набора данных: {data_median}')
Для нахождения среднего арифметического нужно сложить все элементы и разделить на количество элементов.
Среднее арифметическое может быть вычислено с помощью функции mean() из библиотеки pandas.
Выбор характеристики положения зависит от конкретного набора данных.
Гистограмма помогает определить наиболее точную характеристику положения.
Медиана наиболее точно отображает центр набора данных при наличии заметных выбросов.
Среднее арифметическое наиболее точно отображает центр набора данных при отсутствии заметных выбросов
Среднее арифметическое
В прошлом уроке вы познакомились с некоторыми характеристиками положения — модой и медианой. Их вычисляют, исходя из структуры набора данных, поэтому второе название этих характеристик — структурные.
Кроме них, есть ещё алгебраические характеристики положения. Их вычисляют с помощью алгебраических операций над элементами набора данных. Пример такой характеристики — уже известное вам среднее арифметическое.
Чтобы найти среднее арифметическое набора, нужно сложить все его элементы и разделить полученную сумму на количество этих элементов.
Возьмём набор значений, который описывает количество новых подписчиков сообщества в соцсети: 2, 3, 1, 5, 1. Чтобы вычислить среднее арифметическое этого набора, нужно сложить все значения и разделить получившуюся сумму на их количество: (2+3+1+5+1)/5=12/5=2.4.
Таким образом, среднее арифметическое набора 2,3,1,5,1 равно 2.4.
Выберите все верные утверждения.
Правильный ответ
Среднее арифметическое набора данных 2, 3, 1, 2 равно 2.
Чтобы найти среднее арифметическое, нужно сложить все значения и разделить полученную сумму на количество этих значений.
Правильный ответ
Среднее арифметическое набора данных 1, 5, 10, 0 равно 4.
Чтобы найти среднее арифметическое, нужно сложить все значения и разделить полученную сумму на количество этих значений.
На практике как для вычисления среднего значения, так и для подсчёта моды и медианы, пользуются готовым методом из библиотек. Например, mean() из библиотеки pandas. Используя Python, вычислим среднее арифметическое для примера выше.
import pandas as pd
data = pd.Series([2, 3, 1, 5, 1])
print('Среднее арифметическое набора данных равно', data.mean())
Таким образом, ошибки в вычислениях нет. Осталось закрепить теорию на практике.
Задание 1
Найдите среднее значение полученного набора данных.
import pandas as pd
data = pd.Series([2.3, 2.1, 2.4, 2.5, 2])
# напишите ваш код здесь
mean = data.mean()
print(mean)
Выбор характеристики положения
Выбор характеристики положения (мода, медиана, среднее арифметическое), которая точнее всего отражает центр, зависит от конкретного набора данных. В предыдущем курсе вы узнали, что такое гистограммы и научились строить их в Python с помощью метода hist(). Воспользуемся этим методом, чтобы построить гистограмму. Она поможет понять, какая характеристика положения нужна для описания такого набора данных: 1,2,3,4,5,6,7,8,9,9,10,10,10.
Теперь вычислим в Python для этого набора данных все известные вам характеристики положения: моду, медиану и среднее арифметическое.
import pandas as pd
data = pd.Series([1, 2, 3, 4, 5, 6, 7, 8, 9, 9, 10, 10, 10, 10])
print('Мода набора данных равна', data.mode()[0])
print('Медиана исходного набора данных равна', data.median())
print('Среднее арифметическое набора данных равно', data.mean())
Результат
Мода набора данных равна 10
Медиана исходного набора данных равна 7.5
Среднее арифметическое набора данных равно 6.714285714285714
Гистограмма демонстрирует, как распределены значения в наборе данных. Сопоставим график с полученными характеристиками. Судя по результатам, центр набора данных наиболее точно показывает медиана, среднее арифметическое отображает его чуть хуже, а мода показывает «вершину» гистограммы. Исходя из этого, можно сделать вывод, что в случае заметных выбросов — значений, которые слишком удалённы от остальных значений в наборе данных, наиболее высокой точностью обладает медиана.
Вычислим для этого набора данных известные вам характеристики положения.
import pandas as pd
data = pd.Series([1, 1, 1, 1, 2, 2, 2, 3, 3, 4, 5, 6, 7, 8, 8, 9, 9, 9, 10, 10, 10, 10, 10, 10])
print('Мода набора данных равна', data.mode()[0])
print('Медиана исходного набора данных равна', data.median())
print('Среднее арифметическое набора данных равно', data.mean())
Результат
Мода набора данных равна 10
Медиана исходного набора данных равна 6.5
Среднее арифметическое набора данных равно 5.875
Как видно по результатам, в этом случае центр лучше показало среднее арифметическое, медиана же показала себя менее точно. Исходя из этого, можно сделать вывод, что в случае отсутствия заметных выбросов на гистограмме, наиболее высокой точностью обладает среднее арифметическое. Мода используется для демонстрации «вершины» гистограммы, а не центральной тенденции.
Запомнить, какими бывают характеристики положения, вам поможет схема: