ПР. Автомасштабирование в Yandex Managed Kubernetes

Кратко:

• Создание манифеста load-balancer-hpa.yaml для горизонтального автомасштабирования в Kubernetes.
• Использование меток (labels) для контейнеров с меткой "nginx-hpa".
• Изменение образа контейнера с Yandex Container Registry на k8s.gcr.io/hpa-example для создания высокой нагрузки на процессор.
• Добавление настроек ресурсов (requests и limits) для контейнера nginx-hpa.
• Создание манифеста Horizontal Pod Autoscaler с настройками minReplicas, maxReplicas и targetCPUUtilizationPercentage.
• Применение манифеста и ожидание запуска компонентов.
• Создание рабочей нагрузки с помощью утилиты wget.
• Наблюдение за увеличением числа подов и узлов в кластере.

Практическая работа. Автомасштабирование в Yandex Managed Kubernetes

1. Создайте манифест load-balancer-hpa.yaml.
   Для начала скопируйте в него настройки спецификаций, которые вы составляли на предыдущих уроках: из my-nginx.yaml (в примере ниже это раздел Deployment) и из load-balancer.yaml (раздел Service).
   Поскольку новый балансировщик должен отслеживать отдельную группу контейнеров, используйте для контейнеров другие метки (labels), например nginx-hpa.

   ---
   ### Deployment
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: my-loadbalancer-hpa
     labels:
       app: nginx-hpa
   spec:
     replicas: 1
     selector:
       matchLabels:
              app: nginx-hpa
     template:
       metadata:
            name: nginx-hpa
            labels:
                 app: nginx-hpa
       spec:
            containers:
                - name: nginx-hpa
                  image: cr.yandex/<registry ID>/ubuntu-nginx:latest
    
    
   ---
   ### Service
   apiVersion: v1
   kind: Service
   metadata:
     name: my-loadbalancer-hpa
   spec:
     selector:
        app: nginx-hpa
     ports:
       - protocol: TCP
         port: 80
         targetPort: 80
     type: LoadBalancer

2. В разделе Deployment смените образ с Yandex Container Registry на k8s.gcr.io/hpa-example — это специальный тестовый образ из публичного репозитория, создающий высокую нагрузку на процессор. Так вам будет удобно отслеживать работу Horizontal Pod Autoscaler.

          ...
          spec:
             containers:
                 - name: nginx-hpa
                 image: k8s.gcr.io/hpa-example 

3. Теперь добавьте в шаблон контейнера настройки requests и limits: мы попросим по умолчанию 256 мебибайтов памяти и 500 милли-CPU (половину ядра), а ограничим контейнер 500 мебибайтами и 1 CPU.

       ...
       spec:
        containers:
          - name: nginx-hpa
            image: k8s.gcr.io/hpa-example
            resources:
              requests:
                memory: "256Mi"
                cpu: "500m"
              limits:
                memory: "500Mi"
                cpu: "1" 

4. Дополните манифест настройками для Horizontal Pod Autoscaler:

   apiVersion: autoscaling/v1
   kind: HorizontalPodAutoscaler
   metadata:
     name: my-hpa
   spec:
     scaleTargetRef:
       apiVersion: apps/v1
       kind: Deployment
       name: my-nginx-deployment-hpa
     minReplicas: 1
     maxReplicas: 5
     targetCPUUtilizationPercentage: 20

5. В результате должен получиться такой манифест:

   ---
   ### Deployment
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: my-nginx-deployment-hpa
     labels:
       app: nginx-hpa
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: nginx-hpa
     template:
       metadata:
         name: nginx-hpa
         labels:
           app: nginx-hpa
       spec:
         containers:
           - name: nginx-hpa
             image: k8s.gcr.io/hpa-example
             resources:
               requests:
                 memory: "256Mi"
                 cpu: "500m"
               limits:
                 memory: "500Mi"
                 cpu: "1"
    
   ---
   ### Service
   apiVersion: v1
   kind: Service
   metadata:
     name: my-loadbalancer-hpa
   spec:
     selector:
       app: nginx-hpa
     ports:
       - protocol: TCP
         port: 80
         targetPort: 80
     type: LoadBalancer
    
   ---
   ### HPA
   apiVersion: autoscaling/v1
   kind: HorizontalPodAutoscaler
   metadata:
     name: my-hpa
   spec:
     scaleTargetRef:
       apiVersion: apps/v1
       kind: Deployment
       name: my-nginx-deployment-hpa
     minReplicas: 1
     maxReplicas: 5
     targetCPUUtilizationPercentage: 20

6. Примените манифест:

   kubectl apply -f <путь_к_load-balancer-hpa.yaml>

deployment.apps/my-nginx-deployment-hpa created
service/my-loadbalancer-hpa created
horizontalpodautoscaler.autoscaling/my-hpa created

7. В консоли управления перейдите в раздел Network Load Balancer. Дождитесь, пока статус my-nginx-deployment-hpa станет Running, после чего посмотрите IP-адрес балансировщика. Убедитесь, что в браузере этот адрес доступен. В терминале сохраните IP-адрес в переменную. Например, так:

   LOAD_BALANCER_IP=<IP-адрес балансировщика>

8. Запустите в отдельном окне отслеживание интересующих вас компонентов кластера Kubernetes:

   while true; do kubectl get pod,svc,hpa,nodes -o wide; sleep 5; done

9. Теперь сымитируйте рабочую нагрузку на приложение. Для этого подойдёт утилита wget (установите её с помощью пакетного менеджера или с сайта).

   while true; do wget -q -O- http://$LOAD_BALANCER_IP; done

10. Остановите цикл создания нагрузки на приложение (комбинация клавиш Ctrl + C). В окне консоли с отслеживанием компонентов кластера вы увидите, как удаляются узлы и поды без нагрузки.

Категория: Cloud Services Engineer

Просмотров: 653

Автоматическое масштабирование

• Масштабирование позволяет распределить нагрузку между контейнерами и снизить риск сбоя.
• Ручное масштабирование - трудоёмкий и неэффективный процесс.
• Для автомасштабирования подходят инструменты Horizontal Pod Autoscaler и Cluster Autoscaler.
• Horizontal Pod Autoscaler масштабирует количество под-контейнеров, основываясь на нагрузке и запросах.
• Cluster Autoscaler автоматически изменяет количество узлов Kubernetes, основываясь на запросах под-контейнеров.
• В Yandex Managed Service for Kubernetes инструмент Cluster Autoscaler включён по умолчанию.

Категория: Cloud Services Engineer

Просмотров: 568

ПР. Балансировка нагрузки

Кратко:

• Веб-приложения должны быть доступны из интернета.
• Сервис LoadBalancer используется для решения этой проблемы.
• Внутренний IP-адрес может меняться, поэтому нужен публичный IP-адрес балансировщика.
• Создается файл-манифест с описанием балансировщика.
• Выполняется манифест с помощью kubectl.
• В консоли управления можно увидеть созданный балансировщик.
• Копируется IP-адрес балансировщика в адресную строку браузера для доступа к приложению.

Практическая работа. Балансировка нагрузки

1. Создайте файл-манифест load-balancer.yaml:

    apiVersion: v1
    kind: Service
    metadata:
      name: my-loadbalancer
    spec:
      selector:
         app: nginx
      ports:
      - port: 80
        targetPort: 80
      type: LoadBalancer 

    
   Где:
   port — порт сетевого балансировщика, на котором будут обслуживаться пользовательские запросы;
   targetPort — порт контейнера, на котором доступно приложение;
   selector — метка селектора из шаблона подов в манифесте объекта Deployment.
2. Выполните манифест:

   kubectl apply -f <путь_к_файлу_load-balancer.yaml>

    
   Вы увидите сообщение:

   service/my-loadbalancer created

    

    
3. В консоли управления откройте раздел Load Balancer. Там должен появиться балансировщик нагрузки с префиксом k8s в имени и уникальным идентификатором кластера Kubernetes.
4. Скопируйте IP-адрес балансировщика в адресную строку браузера. Вы увидите приветственную страницу NGINX.

Категория: Cloud Services Engineer

Просмотров: 651

ПР. Первое приложение в кластере

Кратко:

• Развертывание приложения - веб-сервера NGINX в кластере Kubernetes с помощью командной строки.
• Основное средство взаимодействия с кластером - инструмент kubectl.
• Создание манифеста для описания настроек приложения в кластере.
• Выполнение манифеста с помощью команды kubectl apply.
• Получение подробной информации о развернутом приложении с помощью команд kubectl get pods и kubectl describe.
• Масштабирование приложения с помощью изменения файла манифеста или команды kubectl scale.
• Управление кластерами Kubernetes в концепции Infrastructure as Code и возможность развертывания с помощью Terraform.

Практическая работа. Первое приложение в кластере

1. Основное средство взаимодействия с кластером — инструмент kubectl. Установите его по инструкции.
2. В консоли управления войдите в созданный кластер Managed Service for Kubernetes и нажмите кнопку Подключиться. В открывшемся окне скопируйте команду для подключения:

    yc managed-kubernetes cluster get-credentials \
      --id <идентификатор_кластера> \
      --external 

    
   Чтобы проверить правильность установки и подключения, посмотрите на конфигурацию:

   kubectl config view

    
   Ответ получится примерно таким (IP-адрес сервера и название кластера будут отличаться):

    apiVersion: v1
    clusters:
    - cluster:
        certificate-authority-data: DATA+OMITTED
        server: https://178.154.206.242
      name: yc-managed-k8s-cat2oek6hbp7mnhhhr4m
    contexts:
    ... 

    

    

Создание манифеста

apiVersion: apps/v1
kind: Deployment
metadata:
  name: my-nginx-deployment
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: cr.yandex/<идентификатор_реестра>/ubuntu-nginx:latest

3. Директива apiVersion определяет, для какой версии Kubernetes написан манифест. От версии к версии обозначение может меняться.

   apiVersion: apps/v1

    

    
4. Директива kind описывает механизм использования. Она может принимать значения Deployment, Namespace, Service, Pod, LoadBalancer и т. д. Для развёртывания приложения укажите значение Deployment.

   kind: Deployment

    

    
5. Директива metadata определяет метаданные приложения: имя, метки (labels), аннотации.
   С помощью Меток можно идентифицировать, группировать объекты, выбирать их подмножества. Добавляйте и изменяйте метки при создании объектов или позднее, в любое время.
   Аннотации используют, чтобы добавить собственные метаданные к объектам.
    
    
   Укажем имя приложения:

    metadata:
      name: my-nginx-deployment 

    
6. В основном блоке spec содержится описание объектов Kubernetes.
   Директива replicas определяет масштабирование. Для первого запуска укажите, что приложению нужен один под. Позже вы посмотрите, как приложения масштабируются, и сможете увеличить число подов.
   Директива selector определяет, какими подами будет управлять контейнер (подробнее о ней можно прочитать в документации). Поды отбираются с помощью метки (label).
   Директива template определяет шаблон пода. Метка в шаблоне должна совпадать с меткой селектора — nginx.
   В шаблоне содержится ещё одна, собственная директива spec. Она задаёт настройки контейнеров, которые будет развёрнуты на поде. Нам нужен один контейнер. Используйте для него образ, созданный ранее с помощью Docker и помещённый в реестр Yandex Container Registry.

    spec: 
      matchLabels: 
        app: nginx
      replicas: 1
      selector: ~
      template: 
        metadata: 
          labels: 
            app: nginx
        spec: 
          containers: 
            - name: nginx
              image: "cr.yandex/<идентификатор_реестра>/ubuntu-nginx:latest" 

    

    
   Настройки манифеста для развёртывания приложения есть в документации Kubernetes.

Выполнение манифеста

7. Для создания или обновления ресурсов в кластере используется команда apply. Файл манифеста указывается после флага -f.

   kubectl apply -f <путь_к_файлу_my-nginx.yaml>

    
   Если результат будет успешным, вы увидите сообщение:

   deployment.apps/my-nginx-deployment created

    
8. Чтобы убедиться, что приложение создано, посмотрите список подов:

   kubectl get pods

    
   Дождитесь статуса Running:

    NAME                                   READY   STATUS    RESTARTS   AGE
    my-nginx-deployment-65b9b678b6-zmfww   1/1     Running   0          5m27s 

    
   Теперь получите более подробную информацию, выполнив ту же команду с флагом -o wide:

   kubectl get pods -o wide

    

    
   Вы увидите внутренний IP-адрес, который присвоен поду. Это пригодится, если нужно узнать, где именно развёрнуто приложение.
   Чтобы получить максимально подробную информацию о запущенном приложении, используйте команду describe:

   kubectl describe deployment/my-nginx-deployment

    

    

Масштабирование

9. Теперь увеличьте количество подов. Вручную это можно сделать двумя способами:
   • изменить файл манифеста, указав в директиве replicas нужное число подов, и снова выполнить команду apply;
   • если файла манифеста нет под рукой — использовать команду scale:

     kubectl scale --replicas=3 deployment/my-nginx-deployment

      

NAME                                   READY   STATUS    RESTARTS   AGE
my-nginx-deployment-65b9b678b6-6whpp   1/1     Running   0          117s
my-nginx-deployment-65b9b678b6-wtph9   1/1     Running   0          117s
my-nginx-deployment-65b9b678b6-zmfww   1/1     Running   0          14m

Кластер как код

Категория: Cloud Services Engineer

Просмотров: 634