Я использую apache-beam[gcp]==2.19 вместе с google-cloud-pubsub==1.2.0. Эти 2 в настоящее время совместимы с python 3.6.5. Я использую действия github для запуска тестов и развертывания. Действия github в настоящее…
apache-beam
В настоящее время я добавляю некоторые метрики в существующий конвейер, который работает в Google Dataproc через Spark Runner, и я пытаюсь определить, как получить доступ к этим метрикам…
Я запускаю несколько экземпляров Apache Beam KafkaIO с помощью DirectRunner, которые читаются из той же темы. Но сообщение доставляется во все запущенные экземпляры. После просмотра конфигурации Kafka, которую…
У меня проблема, когда я создаю шаблон потока данных с помощью Python, и этот шаблон должен принимать 3 аргумента, определяемых пользователем, при запуске нового задания потока данных. Проблема…
При обработке моих данных в ParDo мне нужно использовать схему JSON, хранящуюся в Google Cloud Storage. Я думаю, это может быть неопубликованная загрузка? Я читал страницы, которые они…
Я хочу запустить один из моих скриптов Python с использованием GCP. Я новичок в GCP, поэтому мало что понимаю. Мой скрипт python получает данные из BigQuery и выполняет…
Я изо всех сил пытаюсь заставить запускать триггеры на основе времени события для моего конвейера лучей apache, но, похоже, могу запускать запуск окна со временем обработки. Мой конвейер…
Я пытаюсь запустить конвейер Apache Beam в проекте Spring Boot в Google Data Flow, но эта ошибка не исчезает Failed to construct instance from factory method DataflowRunner#fromOptions(interfaceorg.apache.beam.sdk.options.PipelineOptions Пример,…
Согласно документации Apache Beam, я могу найти кодировщики для конкретных типов данных, а также настраиваемые кодеры. Это дает возможность создавать собственные кодировщики путем регистрации в реестре кода. Но…
Я создал очень простую задачу Apache Beam для тестирования, она написана на scala и выглядит так: object Test { def main(args: Array[String]): Unit = { val options =…