Выведите количество дубликатов, удалите их и проверьте размерность датафрейма.
# импорт библиотеки pandas
import pandas as pd
# считывание CSV-файла в датафрейм pandas и очистка данных
df = pd.read_csv('real_estate.csv')
df = df.dropna()
df = df[df['price'] != 0]
# вывод количества дубликатов
print(df.duplicated().sum())
# удаление дубликатов
df = df.drop_duplicates()
# вывод размерности датафрейма
print(df.shape)
Результат
564
(9433, 7)
Теперь все записи уникальны. То что надо, ведь дубли плохо влияют на результат МО.