Я работаю над вариантом использования, в котором я запускаю даги с помощью TriggerDagRunOperator. Идея состоит в том, что в некоторых случаях я хочу назначить приоритеты, а в остальных случаях я хочу, чтобы DAG принимала приоритеты по умолчанию.
Можно ли назначить вес приоритета во время выполнения целевой группе DAG с помощью TriggerDagRunOperator?
PS: Я использую Airflow 1.9.
Да, см. Мой ответ здесь: stackoverflow.com/a/58305943/7343742 Аналогичная проблема, такое же решение. — person rishm.msc schedule 09.10.2019
@trejas этот пост посвящен динамическому созданию задач и дэгов. Я прошу назначить приоритет задачам во время выполнения для TaskInstance. — person rishm.msc schedule 11.10.2019
Не обращайте внимания на мой предыдущий комментарий: обдумывая свой вопрос, это интересно. Я уверен, что ты сможешь это сделать … Как-нибудь попробую на этой неделе. Удалось ли вам это сделать? — person rishm.msc schedule 16.10.2019
Нет еще нет. Но, прочитав больше о планировщике и весах приоритетов, я не уверен, можно ли это сделать в Airflow 1.9. — person rishm.msc schedule 17.10.2019
Пытаюсь решить эту же проблему сам и сталкиваюсь с проблемами. Кажется, priority_weight нельзя заполнить с помощью механизма шаблонов. Я обнаружил, что вы можете создать подкласс оператора и переопределить метод свойства priority_weight_total (который вызывается base_executor при постановке в очередь экземпляров задачи для получения окончательного значения priority). Если бы существовал способ ввести контекст в эту функцию, который мог бы решить проблему, но я не понимаю, как это сделать. — person rishm.msc schedule 19.02.2020