B_SQL.13/24.6/9.7/9.Задача 2

Найдите все даты, на которые пришлось более 200 заказов такси за любой период в 30 минут в этот день. Напечатайте на экране количество таких дней, сохранив результат в переменную result.

APP_NAME = "DataFrames"
SPARK_URL = "local[*]"

spark = SparkSession.builder.appName(APP_NAME) \
        .config('spark.ui.showConsoleProgress', 'false') \
        .getOrCreate()

taxi = spark.read.load('/datasets/pickups_terminal_5.csv', 
                       format='csv', header='true', inferSchema='true')

taxi = taxi.fillna(0)

taxi.registerTempTable("taxi")

result = spark.sql("""SELECT COUNT(DISTINCT date) 
                      FROM taxi 
                      WHERE pickups > 200;
                      """)
print(result.show())

Результат

count(DISTINCT date)
21

None 21! Столько дней таксистам пришлось нелегко! Но это за шесть лет. Стоит только догадываться, какие ещё форумы проходили: по обучению собак ловле фрисби или морских свинок — плаванию...

: Категория: Я.Практикум Data Science; Просмотров: 2000

Главная

B_SQL.13/24.6/9.7/9.Задача 2