Поды прерываются внезапно при использовании KEDA с очередью функций Azure

15.12.2020Рубрика: ВопросыАвтор: admin

Я использую KEDA для автоматического масштабирования модулей рабочей нагрузки машинного обучения. Модули автоматически масштабируются в зависимости от количества элементов очереди, когда очередь уменьшается, даже когда модули все еще обрабатывают рабочие нагрузки очереди. Я установил terminationGracePeriodSeconds, но либо слишком большим, либо слишком низким для нашей рабочей нагрузки.

Прочтите о сигнале SIGTERM и предварительной остановке, но не удалось найти образец, который мог бы решить эту проблему с помощью диаграммы управления очередью KEDA

Вы нашли какое-нибудь решение? — person Karthikeyan VK schedule 31.05.2021

Да, мы это исправили. Скоро обновлю ответ — person Karthikeyan VK schedule 02.06.2021

Post Views: 120

См. также: Непоследовательное поведение прослушивателя сущностей Doctrine

1 azure azure-functions keda kubernetes-helm

Комментарии: 1

Karthikeyan VK 02.06.2021 в 00:00
Мы исправили проблему, увеличив terminationGracePeriodSeconds в deploy.YAML. Возможно, это неправильное решение, но оно сработало для нас. Надеюсь, это поможет кому-то, у кого такая же проблема.
```
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
    name: test
spec:
    replicas: 1
    template:
        spec:
            containers:
              - name: test
                image: ...
            terminationGracePeriodSeconds: 300
```
Если вы используете приложение-функцию, также уменьшите размер пакета, чтобы модуль не задерживался на обработке в течение более длительного времени.

У меня есть новый случай, когда функция занимает максимум 10 минут, а terminationGracePeriodSeconds составляет 15 минут. Тем не менее иногда кажется, что мои стручки резко падают. Какие-либо предложения? Размер моего пакета равен 1, а queueLength тоже 1. Я также разместил вопрос для того же: stackoverflow.com/questions/67902251/ — person Karthikeyan VK; 09.06.2021

Проверьте объем оперативной памяти и процессора, в основном проблема. — person Karthikeyan VK; 10.06.2021

У меня достаточно процессора и оперативной памяти. — person Karthikeyan VK; 10.06.2021
Ответить

Добавить комментарий