В настоящее время у меня есть две группы DAG: DAG_A и DAG_B. Оба работают с schedule_interval=timedelta(days=1) У DAG_A есть задача 1, выполнение которой обычно занимает 7 часов. А…
airflow
Я пытаюсь использовать Cronitier, чтобы запланировать задание, которое будет выполняться ежемесячно каждые 2 вторника. Я пробовал ниже Это мой частичный сценарий. из croniter импорт croniter cron = croniter…
Я пытаюсь реализовать инкрементную загрузку данных для извлечения данных из rds postgres в другой postgres rds Я использую воздушный поток для реализации ETL. Итак, прочитав некоторое время о…
Я пытаюсь преобразовать задание искровой отправки, которое настраивалось через файл yaml, в dag воздушного потока и запустить его через воздушный поток. Задание не выполняется, когда я пытаюсь смонтировать…
Я развертываю воздушный поток в Kubernetes, используя: https://github.com/helm/charts/tree/master/stable/airflow Я пытаюсь подключить свою внешнюю базу данных PostgreSQL, изменив values.yml: externalDatabase: ## the type of external database: {mysql,postgres} ## type:…
У нас есть одна облачная функция, основанная на облачном хранилище. Эта облачная функция сработает после загрузки файла в корзину. Когда файл загружен, функция вызывает / запускает DAG воздушного…
Я пытался использовать макросы Airflow, ссылающиеся на переменные по умолчанию и BigQuery. метки для регистрации метаданных запросов, отправленных через Airflow BigQueryOperator. Вот определение оператора: BigQuery_Labels_Test_Task = BigQueryOperator( task_id=»BigQuery_Labels_Test_Task»,…
Я хочу создать родительский DAG с несколькими дочерними DAG, которые вызываются через SubDagOperator. Я могу найти только примеры динамического создания субдагов в задаче SubDagOperator. Однако в этом случае…
Я работаю над вариантом использования, в котором я запускаю даги с помощью TriggerDagRunOperator. Идея состоит в том, что в некоторых случаях я хочу назначить приоритеты, а в остальных…
У меня есть два разных DAG, которые должны работать на разных частотах. Один, т.е. dag1, должен работать еженедельно, а dag2 — ежедневно. Теперь dag2 должен запускаться только после…