В настоящее время у меня есть две группы DAG: DAG_A и DAG_B. Оба работают с schedule_interval=timedelta(days=1) У DAG_A есть задача 1, выполнение которой обычно занимает 7 часов. А…

IT Шеф

Я пытаюсь использовать Cronitier, чтобы запланировать задание, которое будет выполняться ежемесячно каждые 2 вторника. Я пробовал ниже Это мой частичный сценарий. из croniter импорт croniter cron = croniter…

IT Шеф

Я пытаюсь реализовать инкрементную загрузку данных для извлечения данных из rds postgres в другой postgres rds Я использую воздушный поток для реализации ETL. Итак, прочитав некоторое время о…

IT Шеф

Я пытаюсь преобразовать задание искровой отправки, которое настраивалось через файл yaml, в dag воздушного потока и запустить его через воздушный поток. Задание не выполняется, когда я пытаюсь смонтировать…

IT Шеф

Я развертываю воздушный поток в Kubernetes, используя: https://github.com/helm/charts/tree/master/stable/airflow Я пытаюсь подключить свою внешнюю базу данных PostgreSQL, изменив values.yml: externalDatabase: ## the type of external database: {mysql,postgres} ## type:…

IT Шеф

У нас есть одна облачная функция, основанная на облачном хранилище. Эта облачная функция сработает после загрузки файла в корзину. Когда файл загружен, функция вызывает / запускает DAG воздушного…

IT Шеф

Я пытался использовать макросы Airflow, ссылающиеся на переменные по умолчанию и BigQuery. метки для регистрации метаданных запросов, отправленных через Airflow BigQueryOperator. Вот определение оператора: BigQuery_Labels_Test_Task = BigQueryOperator( task_id=»BigQuery_Labels_Test_Task»,…

IT Шеф

Я хочу создать родительский DAG с несколькими дочерними DAG, которые вызываются через SubDagOperator. Я могу найти только примеры динамического создания субдагов в задаче SubDagOperator. Однако в этом случае…

IT Шеф

Я работаю над вариантом использования, в котором я запускаю даги с помощью TriggerDagRunOperator. Идея состоит в том, что в некоторых случаях я хочу назначить приоритеты, а в остальных…

IT Шеф

У меня есть два разных DAG, которые должны работать на разных частотах. Один, т.е. dag1, должен работать еженедельно, а dag2 — ежедневно. Теперь dag2 должен запускаться только после…

IT Шеф
We use cookies in order to give you the best possible experience on our website. By continuing to use this site, you agree to our use of cookies.
Accept
Privacy Policy