B_SQL.13/24.6/9.8/9.Задача 2

Вычислите среднее количество заказов за каждый час. Затем отсортируйте данные по убыванию. Выведите самые загруженные 10 часов и среднее количество заказов такси в эти часы.

from pyspark.sql import SparkSession

APP_NAME = "DataFrames"
SPARK_URL = "local[*]"

spark = SparkSession.builder.appName(APP_NAME) \
        .config('spark.ui.showConsoleProgress', 'false') \
        .getOrCreate()

taxi = spark.read.load('/datasets/pickups_terminal_5.csv', 
                       format='csv', header='true', inferSchema='true')

taxi = taxi.fillna(0)

taxi.registerTempTable("taxi")

print(spark.sql("""
                SELECT hour, 
                       AVG(pickups)
                FROM   taxi
                GROUP BY hour
                ORDER BY AVG(pickups) DESC;
                """).show(10))