Я использую apache-beam[gcp]==2.19 вместе с google-cloud-pubsub==1.2.0. Эти 2 в настоящее время совместимы с python 3.6.5. Я использую действия github для запуска тестов и развертывания. Действия github в настоящее…

IT Шеф

В настоящее время я добавляю некоторые метрики в существующий конвейер, который работает в Google Dataproc через Spark Runner, и я пытаюсь определить, как получить доступ к этим метрикам…

IT Шеф

Я запускаю несколько экземпляров Apache Beam KafkaIO с помощью DirectRunner, которые читаются из той же темы. Но сообщение доставляется во все запущенные экземпляры. После просмотра конфигурации Kafka, которую…

IT Шеф

У меня проблема, когда я создаю шаблон потока данных с помощью Python, и этот шаблон должен принимать 3 аргумента, определяемых пользователем, при запуске нового задания потока данных. Проблема…

IT Шеф

При обработке моих данных в ParDo мне нужно использовать схему JSON, хранящуюся в Google Cloud Storage. Я думаю, это может быть неопубликованная загрузка? Я читал страницы, которые они…

IT Шеф

Я хочу запустить один из моих скриптов Python с использованием GCP. Я новичок в GCP, поэтому мало что понимаю. Мой скрипт python получает данные из BigQuery и выполняет…

IT Шеф

Я изо всех сил пытаюсь заставить запускать триггеры на основе времени события для моего конвейера лучей apache, но, похоже, могу запускать запуск окна со временем обработки. Мой конвейер…

IT Шеф

Я пытаюсь запустить конвейер Apache Beam в проекте Spring Boot в Google Data Flow, но эта ошибка не исчезает Failed to construct instance from factory method DataflowRunner#fromOptions(interfaceorg.apache.beam.sdk.options.PipelineOptions Пример,…

IT Шеф

Согласно документации Apache Beam, я могу найти кодировщики для конкретных типов данных, а также настраиваемые кодеры. Это дает возможность создавать собственные кодировщики путем регистрации в реестре кода. Но…

IT Шеф

Я создал очень простую задачу Apache Beam для тестирования, она написана на scala и выглядит так: object Test { def main(args: Array[String]): Unit = { val options =…

IT Шеф