Спринт 10/24 → Тема 9/11: Пайплайны → Урок 1/6
Кратко:
- Процесс моделирования включает несколько этапов: сбор и предобработку данных, исследовательский анализ и подготовку данных к МО, обучение и тестирование моделей.
- Пайплайн - инструмент, который автоматизирует многие операции МО и объединяет последовательность шагов в один блок.
- Работа с пайплайном имеет много плюсов: меньше времени на одни и те же операции, моделирование быстрее, меньше ошибок, стандартизированные процессы.
- В этой теме вы поработаете с данными транспортной компании «Маршрут Экспресс», которая занимается пассажирскими перевозками.
- Компания хотела научиться предсказывать, понравится ли пассажиру поездка.
Спринт 10/24 → Тема 9/11: Пайплайны → Урок 2/6
Кратко:
- Пайплайны автоматизируют повторяющиеся действия с данными и экономят время и усилия.
- Пайплайн в машинном обучении состоит из компонентов преобразования данных.
- Пайплайн позволяет автоматизировать процесс машинного обучения и привести его к стандарту.
- Термины «пайплайн» и «конвейер» используются как синонимы.
- Пайплайны используются в работе с моделями машинного обучения.
- Пайплайны включают действия по преобразованию данных, обучению моделей и оценке их качества.
- Использование пайплайнов повышает качество моделей и позволяет специалистам уделять больше времени аналитике.
Спринт 10/24 → Тема 9/11: Пайплайны → Урок 3/6
Кратко:
- В статье рассматривается использование пайплайна для подготовки и обучения модели.
- Пайплайн представляет собой последовательность операций, которые выполняются над данными.
- Пайплайн облегчает работу с данными и позволяет легко изменять параметры обработки.
- В статье представлены примеры пайплайнов для кодирования и масштабирования данных.
- В задании предлагается создать пайплайны для подготовки бинарных и порядковых признаков.
- В итоге, пайплайны позволяют автоматизировать и упростить работу с данными, облегчая обучение моделей.
Спринт 10/24 → Тема 9/11: Пайплайны → Урок 4/6
Кратко:
- Создан пайплайн для подготовки признаков и модель DecisionTreeClassifier.
- Введены понятия SimpleImputer, OneHotEncoder и MinMaxScaler.
- Описан метод подготовки данных как гиперпараметр с использованием GridSearchCV.
- Рассказано о переборе гиперпараметров моделей в пайплайне.
- Представлены задания для практики и обучения пайплайнам.
- В заключение, в пайплайне можно не только готовить данные, но и перебирать гиперпараметры и модели, что упрощает поиск качественных решений.
Спринт 10/24 → Тема 9/11: Пайплайны → Урок 5/6
Кратко:
- Пайплайны используются для автоматизации обучения моделей и оптимизации гиперпараметров.
- Для выбора лучшей комбинации модели и гиперпараметров можно использовать пайплайн.
- В пайплайне можно перебирать варианты масштабирования, моделей и их гиперпараметров.
- В статье представлен пример использования пайплайна для перебора гиперпараметров моделей.
- Задание 1 предлагает создать пайплайн, выбрав лучшую комбинацию модели и гиперпараметров.
Спринт 10/24 → Тема 9/11: Пайплайны → Урок 6/6
Кратко:
- Пайплайн - это средство автоматизации рабочего процесса в машинном обучении.
- Пайплайн последовательно выполняет этапы моделирования, результат одного шага - входные данные для следующего.
- Итоговый пайплайн - это модель, у которой можно перебирать гиперпараметры.
- Пайплайн может работать с fit() и predict(), как и обычная модель.
- В итоговый пайплайн часто входят другие пайплайны, каждый из которых может работать независимо.
- Пайплайн можно автоматизировать не только шаги по подготовке данных и работе с моделями.
- Дополнительные библиотеки и функции пайплайна: sklearn.pipeline, sklearn.feature_selection, feature_engine.selection, sklearn.neighbors, imblearn.pipeline.
Итоги темы
Это последний урок темы. Теперь вы умеете виртуозно обращаться с пайплайнами и делать так, чтобы они помогали вам в работе.
В этой теме вы учились добавлять в пайплайн шаги по подготовке данных и работе с моделями, но можно автоматизировать не только их. Самостоятельно в этом разобраться будет проще, ведь теперь вы знаете главные идеи:
- Пайплайн — это средство автоматизации рабочего процесса МО.
- Пайплайн последовательно выполняет этапы моделирования. Результат одного шага — входные данные для следующего.
- Итоговый пайплайн — это модель, у которой можно перебрать гиперпараметры. Как и обычная модель, пайплайн может работать с
fit()иpredict(). - В итоговый пайплайн часто входят другие пайплайны, и каждый из них может работать независимо. Например, к пайплайну подготовки данных можно применять методы transform() и fit_transform(), чтобы взаимодействовать с промежуточными результатами пайплайна.
Заберите с собой
Чтобы ничего не забыть, скачайте шпаргалку по теме.