Центральная предельная теорема, или Самое важное утверждение о выборочном среднем

Кратко:

• Центральная предельная теорема утверждает, что распределение выборочных средних зависит от размера выборки, но не от распределения генеральной совокупности.
• Выборочное распределение выборочного среднего имеет форму нормального распределения.
• Центральная предельная теорема работает при увеличении количества наблюдений.
• Стандартное отклонение выборочного распределения выборочного среднего стремится к стандартному отклонению генеральной совокупности, деленному на корень из размера выборки.
• Стандартная ошибка выборочного среднего - SE - это стандартная ошибка выборочного среднего.
• Выборочное распределение выборочного среднего не зависит от конкретной выборки, а построено для всех возможных выборок фиксированного размера.
• Оценка стандартной ошибки по выборке - ESE - позволяет достаточно хорошо оценить форму выборочного распределения 

Формулирование гипотез

Кратко:

• Выборка позволяет оценить параметры генеральной совокупности, но не является подтверждением гипотезы.
• Гипотезы - предположения о данных, которые не могут быть подтверждены экспериментально.
• Проверка гипотез включает формулировку нулевой гипотезы и альтернативной гипотезы.
• Нулевая гипотеза фиксирует параметр генеральной совокупности, а альтернативная гипотеза предполагает возможное отклонение.
• Если гипотеза не противоречит данным, то она не отвергается, а если вероятность получения таких данных низкая, то гипотеза отвергается.
• Задача статистического теста - корректно сделать вывод о соответствии гипотезы данным.
• Примеры гипотез: среднее генеральной совокупности равно определенному значению, среднее генеральной совокупности больше или меньше определенного значения

P-value

Кратко:

• Нулевая гипотеза отвергается, если наблюдаемое значение слишком далеко от предполагаемого значения в нулевой гипотезе.
• Уровень значимости задает порог, начиная с какой вероятности наблюдаемое значение считается слишком далеким от предполагаемого.
• P-value - вероятность при верной нулевой гипотезе получить наблюдаемое значение или более удаленное от предполагаемого.
• Нулевая гипотеза отвергается, если p-value меньше выбранного уровня статистической значимости.
• P-value не является вероятностью того, что нулевая гипотеза верна, а лишь оценивает необычность данных при верном предположении о значении параметра.
• Тренировочный метод проверки гипотез позволяет самостоятельно менять формулировку гипотезы, проводить эксперименты и наблюдать за результатами работы метода

• Нулевая гипотеза отвергается в пользу альтернативной, если наблюдаемое на выборке значение оказывается слишком далеко от предполагаемого в нулевой гипотезе.
• Уровень значимости задаёт порог: начиная с какой вероятности наблюдаемое значение считается слишком далёким от предполагаемого, то есть слишком маловероятным.

Проверка двусторонней гипотезы в Python. T-тест

Кратко:

• Проверка гипотез в Python с использованием библиотеки SciPy.
• Метод scipy.stats.ttest_1samp() для проверки двусторонней гипотезы.
• Статистика разности и p-value для решения о принятии гипотезы.
• p-value - вероятность получить наблюдаемый или более экстремальный результат.
• Сравнение p-value с выбранным уровнем значимости для принятия решения.
• t-тест для проверки гипотез с распределением Стьюдента.
• Ограничения t-теста и возможные альтернативы.
• Пример использования t-теста для проверки гипотезы о равенстве среднего генеральной совокупности определенному значению

from scipy import stats as st
import pandas as pd

scooters = pd.Series([15, 31, 10, 21, 21, 32, 30, 25, 21,
28, 25, 32, 38, 18, 33, 24, 26, 40, 24, 37, 20, 36, 28, 38,
24, 35, 33, 21, 29, 26, 13, 25, 34, 38, 23, 37, 31, 28, 32,
24, 25, 13, 38, 34, 48, 19, 20, 22, 38, 28, 31, 18, 21, 24,
31, 21, 28, 29, 33, 40, 26, 33, 33,  6, 27, 24, 17, 28,  7,
33, 25, 25, 29, 19, 30, 29, 22, 15, 28, 36, 25, 36, 25, 29,
33, 19, 32, 32, 28, 26, 18, 48, 15, 27, 27, 27,  0, 28, 39,
27, 25, 39, 28, 22, 33, 30, 35, 19, 20, 18, 31, 44, 20, 18,
17, 28, 17, 44, 40, 33,])

optimal_value = 30 # введите ваш код тут

alpha = 0.05 # введите ваш код тут
# введите ваш код тут
results = st.ttest_1samp(scooters, optimal_value)

print('p-значение:', results.pvalue ) # введите ваш код тут

if results.pvalue < alpha :# введите ваш код тут
    print('Отвергаем нулевую гипотезу')
else:
    print('Не получилось отвергнуть нулевую гипотезу')

Проверка односторонних гипотез в Python

Кратко:

• Проверка односторонних гипотез в Python: метод scipy.stats.ttest_1samp() для правосторонней и левосторонней альтернативной гипотезы.
• Важно понимать объект исследования и корректно формулировать гипотезы, учитывая варианты развития событий.
• Для проведения одностороннего теста используйте alternative='greater' или alternative='less'.
• P-value рассчитывается для одного хвоста распределения.
• Пример использования метода: проверка гипотезы о том, что новый дизайн лендинга помог пользователям быстрее принимать решение о покупке.
• Пример: проверка гипотезы о том, что внедрение практики осознанного подхода к бизнесу привело к увеличению дневной выручки интернет-проекта

Ещё раз об односторонних гипотезах

На этом графике альтернативная гипотеза H1​ — «наблюдаемое значение больше заданного».

Верно ли, что при одностороннем тесте нулевая гипотеза будет отвергнута при меньшем отклонении выборочного среднего от предполагаемого значения, чем при двустороннем тесте?

 

from scipy import stats as st
import pandas as pd

screens = pd.Series([4, 2, 4, 5, 5, 4, 2, 3, 3, 5, 2, 5, 2, 2, 2, 3, 3, 4, 8, 3, 4, 3, 5, 5, 4, 2, 5, 2, 3, 7, 5, 5, 6,  5, 3, 4, 3, 6, 3, 4, 4, 3, 5, 4, 4, 8, 4, 7, 4, 5, 5, 3, 4, 6, 7, 2, 3, 6, 5, 6, 4, 4, 3, 4, 6, 4, 4, 6, 2, 6, 5, 3, 3, 3, 4, 5, 3, 5, 5, 4, 3, 3, 3, 1, 5, 4, 3, 4, 6, 3, 1, 3, 2, 7, 3, 6, 6, 6, 5, 5])

prev_screens_value = 4.867

alpha = 0.05 # уровень статистической значимости

results = st.ttest_1samp(
    screens, 
    prev_screens_value,
      alternative='less')

print('p-значение:', results.pvalue)

if (results.pvalue < alpha):
    print('Отвергаем нулевую гипотезу')
else:
    print('Не отвергаем нулевую гипотезу') 

Отвергаем нулевую гипотезу 

from scipy import stats as st
import numpy as np
import pandas as pd

revenue = pd.read_csv('/datasets/revenue.csv')

interested_value = 50000 # сколько обещал коуч

alpha = 0.025 # укажите уровень статистической значимости

results = st.ttest_1samp(revenue, interested_value, alternative='less') # используйте метод st.ttest_1samp

print('p-значение:', results.pvalue) # добавьте в аргумент p-value

if (results.pvalue < alpha): # сравните полученный p-value и уровень значимости)
    print('Отвергаем нулевую гипотезу: выручка значимо меньше 50 тысяч')
else:
    print('Не получилось отвергнуть нулевую гипотезу: выручка достигает запланированных показателей')

from scipy import stats as st

sample_1 = [3071, 3636, 3454, 3151, 2185, 3259, 1727, 2263, 2015, 
            2582, 4815, 633, 3186, 887, 2028, 3589, 2564, 1422, 1785, 
            3180, 1770, 2716, 2546, 1848, 4644, 3134, 475, 2686, 
            1838, 3352]
sample_2 = [1211, 1228, 2157, 3699, 600, 1898, 1688, 1420, 5048, 3007, 
            509, 3777, 5583, 3949, 121, 1674, 4300, 1338, 3066, 
            3562, 1010, 2311, 462, 863, 2021, 528, 1849, 255, 
            1740, 2596]

alpha = 0.05 # уровень статистической значимости
# если p-value окажется меньше него, отвергнем гипотезу

results = st.ttest_ind(sample_1, sample_2)

print('p-значение:', results.pvalue)

if results.pvalue < alpha:
    print('Отвергаем нулевую гипотезу')
else:
    print('Не получилось отвергнуть нулевую гипотезу') 

Не получилось отвергнуть нулевую гипотезу 

# импортируем библиотеки
import pandas as pd
import scipy.stats as st

# задаём уровень значимости
alpha = 0.05

# траты первой группы пользователей (с подпиской)
first_group_total = pd.Series([1030.04,  979.13, 1055.95, 1010.72, 1026.73, 1050.37, 1016.69,
        988.54, 1035.16, 1023.99, 1019.9 , 1004.54, 1039.57, 1083.2 ,
       1015.08, 1053.87, 1015.  , 1010.2 , 1058.26,  984.14,  996.72,
        998.69, 1023.89, 1000.57, 1002.99, 1056.2 , 1064.17, 1017.63,
       1044.  , 1026.85])

# траты второй группы пользователей (без подпиской)
second_group_total = pd.Series([ 976.47, 1020.  , 1004.24, 1022.44, 1026.49,  954.82, 1044.95,
        985.61,  979.16,  990.87, 1020.94, 1000.64,  988.56, 1010.57,
        999.  , 1007.65,  990.61, 1033.15, 1037.47,  994.76,  987.89,
        996.38,  975.61, 1026.65, 1017.6 , 1005.86,  970.54,  991.88,
       1005.44, 1014.79])

# проводим ttest для двух выборок, в качестве альтернативной используем одностороннюю гипотезу «больше»
results = st.ttest_ind(first_group_total, second_group_total, alternative='greater')

print(f'p-value: {results.pvalue}')

# проверяем p-value
if results.pvalue < alpha:
    print('Отвергаем нулевую гипотезу')
else:
    print('Нет оснований отвергнуть нулевую гипотезу')

from scipy import stats as st
import numpy as np

# время на сайте пользователей, зашедших с логином и паролем
time_on_site_logpass = [368, 113, 328, 447, 1, 156, 335, 233, 
                       308, 181, 271, 239, 411, 293, 303, 
                       206, 196, 203, 311, 205, 297, 529, 
                       373, 217, 416, 206, 1, 128, 16, 214]

# время на сайте пользователей, зашедших через социальные сети
time_on_site_social  = [451, 182, 469, 546, 396, 630, 206, 
                        130, 45, 569, 434, 321, 374, 149, 
                        721, 350, 347, 446, 406, 365, 203, 
                        405, 631, 545, 584, 248, 171, 309, 
                        338, 505]


alpha = 0.01 # задайте уровень стат. значимости

results = st.ttest_ind(time_on_site_logpass, time_on_site_social, alternative='two-sided') # проведите стат. тест о равенстве времени, которое проводят на сайте обе группы

# выведите на экран получившееся p-значение
print('p-значение:', results.pvalue)

if results.pvalue < alpha: # сравните p-значение с alpha
    print('Отвергаем нулевую гипотезу')
else:
    print('Не получилось отвергнуть нулевую гипотезу')

from scipy import stats as st
import numpy as np

pages_per_session_autumn = [7.1, 7.3, 9.8, 7.3, 6.4, 10.5, 8.7, 
                            17.5, 3.3, 15.5, 16.2, 0.4, 8.3, 
                            8.1, 3.0, 6.1, 4.4, 18.8, 14.7, 16.4, 
                            13.6, 4.4, 7.4, 12.4, 3.9, 13.6, 
                            8.8, 8.1, 13.6, 12.2]
pages_per_session_summer = [12.1, 24.3, 6.4, 19.9, 19.7, 12.5, 17.6, 
                            5.0, 22.4, 13.5, 10.8, 23.4, 9.4, 3.7, 
                            2.5, 19.8, 4.8, 29.0, 1.7, 28.6, 16.7, 
                            14.2, 10.6, 18.2, 14.7, 23.8, 15.9, 16.2, 
                            12.1, 14.5]

alpha = 0.01 # задайте уровень стат. значимости

results = st.ttest_ind(pages_per_session_summer, pages_per_session_autumn,  alternative='two-sided') # проведите стат. тест о равенстве глубины просмотра сайта за лето и осень

# выведите на экран получившееся p-значение
print('p-значение:', results.pvalue)

if results.pvalue < alpha : # сравните получившееся p-значение с alpha
    print('Отвергаем нулевую гипотезу')
else:
    print('Не получилось отвергнуть нулевую гипотезу')

Следующая тема:  САД. Проектная работа

Вернуться в раздел: Статистический анализ данных

Вернуться в оглавление: Я.Практикум