• Регулярные выражения используются для поиска и замены текста по шаблону.
• Шаблоны определяют, из каких частей состоит строка и какие символы в ней содержатся.
• В Python для работы с регулярными выражениями используется встроенный модуль re.
• Функция re.sub() заменяет совпадения по шаблону заданной строкой.
• Регулярное выражение для поиска кириллических символов и пробелов в тексте твита создается с использованием символа r и квадратных скобок.
• Знак «домика» (^) перед набором символов указывает на то, что они не подходят под шаблон.
• Лишние пробелы в тексте удаляются с помощью функций join() и split().

• Мешок слов - метод преобразования текста в векторный формат, который не учитывает порядок слов.
• Модель "мешок слов" работает путем подсчета количества вхождений каждого уникального слова в тексте.
• N-граммы - словосочетания из нескольких слов, которые используются для анализа порядка слов и связей между ними.
• N-граммы могут быть преобразованы в векторы аналогично модели "мешок слов".

• Создание мешка слов с помощью CountVectorizer из библиотеки sklearn.feature_extraction.text.
• Метод fit_transform() для преобразования корпуса текстов в мешок слов.
• Метод get_feature_names() для получения словаря уникальных слов в мешке.
• N-граммы рассчитываются с помощью CountVectorizer и аргумента ngram_range.
• Удаление стоп-слов для получения более чистого мешка слов.
• Пакет stopwords из библиотеки nltk для получения списка стоп-слов.
• Переопределение CountVectorizer с использованием списка стоп-слов для исключения ненужных слов.

• TF-IDF - оценка важности слова, основанная на частоте его употребления и количестве текстов с ним.
• TF: количество упоминаний слова в тексте, t = количество употреблений слова, n = общее число слов в тексте.
• IDF: учитывает частоту употребления слова во всем корпусе, зависит от числа текстов с этим словом и общего числа текстов в корпусе.
• Большая TF-IDF указывает на уникальность слова в тексте по отношению к корпусу.
• Чем чаще слово встречается в конкретном тексте и реже в остальных, тем выше TF-IDF.

• TF-IDF в sklearn: класс TfidfVectorizer() из модуля sklearn.feature_extraction.text.
• Импортируйте TfidfVectorizer: from sklearn.feature_extraction.text import TfidfVectorizer.
• Создайте счётчик с использованием TfidfVectorizer и стоп-слов: count_tf_idf = TfidfVectorizer(stop_words=stopwords).
• Для подсчета TF-IDF для корпуса текстов вызовите fit_transform(): tf_idf = count_tf_idf.fit_transform(corpus).
• Используйте аргумент ngram_range для расчета N-грамм.
• Если данные разделены на обучающую и тестовую выборки, используйте fit() только для обучающей выборки.

• Классификация тональности текста с использованием величин TF-IDF.
• Анализ тональности текста выявляет эмоционально окрашенные слова.
• Сентимент-анализ помогает компаниям оценивать реакцию на новые продукты.
• Оценка тональности текста: положительный или отрицательный.
• Задача классификации: целевой признак равен "1" для положительного текста, "0" для отрицательного.
• Признаки: слова из корпуса и их величины TF-IDF для каждого текста.

Теперь вы умеете:

• Методом мешка слов находить векторы текстов;
• Строить признаки методом TF-IDF;
• Решать задачу классификации текстов.

Заберите с собой

Чтобы ничего не забыть, скачайте шпаргалку и конспект темы.

В следующей теме вы начнёте работать с языковыми представлениями.