Присвоение во время выполнения Airflow 1.9 приоритетных весов для DagRuns

Я работаю над вариантом использования, в котором я запускаю даги с помощью TriggerDagRunOperator. Идея состоит в том, что в некоторых случаях я хочу назначить приоритеты, а в остальных случаях я хочу, чтобы DAG принимала приоритеты по умолчанию.

Можно ли назначить вес приоритета во время выполнения целевой группе DAG с помощью TriggerDagRunOperator?

PS: Я использую Airflow 1.9.

Да, см. Мой ответ здесь: stackoverflow.com/a/58305943/7343742 Аналогичная проблема, такое же решение.   —  person rishm.msc    schedule 09.10.2019

@trejas этот пост посвящен динамическому созданию задач и дэгов. Я прошу назначить приоритет задачам во время выполнения для TaskInstance.   —  person rishm.msc    schedule 11.10.2019

Не обращайте внимания на мой предыдущий комментарий: обдумывая свой вопрос, это интересно. Я уверен, что ты сможешь это сделать … Как-нибудь попробую на этой неделе. Удалось ли вам это сделать?   —  person rishm.msc    schedule 16.10.2019

Нет еще нет. Но, прочитав больше о планировщике и весах приоритетов, я не уверен, можно ли это сделать в Airflow 1.9.   —  person rishm.msc    schedule 17.10.2019

Пытаюсь решить эту же проблему сам и сталкиваюсь с проблемами. Кажется, priority_weight нельзя заполнить с помощью механизма шаблонов. Я обнаружил, что вы можете создать подкласс оператора и переопределить метод свойства priority_weight_total (который вызывается base_executor при постановке в очередь экземпляров задачи для получения окончательного значения priority). Если бы существовал способ ввести контекст в эту функцию, который мог бы решить проблему, но я не понимаю, как это сделать.   —  person rishm.msc    schedule 19.02.2020

См. также:  Переменные воздушного потока по умолчанию - Настройка инкрементной нагрузки
Понравилась статья? Поделиться с друзьями:
IT Шеф
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: