Я использую apache-beam[gcp]==2.19 вместе с google-cloud-pubsub==1.2.0. Эти 2 в настоящее время совместимы с python 3.6.5. Я использую действия github для запуска тестов и развертывания. Действия github в настоящее…

IT Шеф

В настоящее время я добавляю некоторые метрики в существующий конвейер, который работает в Google Dataproc через Spark Runner, и я пытаюсь определить, как получить доступ к этим метрикам…

IT Шеф

Я запускаю несколько экземпляров Apache Beam KafkaIO с помощью DirectRunner, которые читаются из той же темы. Но сообщение доставляется во все запущенные экземпляры. После просмотра конфигурации Kafka, которую…

IT Шеф

У меня проблема, когда я создаю шаблон потока данных с помощью Python, и этот шаблон должен принимать 3 аргумента, определяемых пользователем, при запуске нового задания потока данных. Проблема…

IT Шеф

При обработке моих данных в ParDo мне нужно использовать схему JSON, хранящуюся в Google Cloud Storage. Я думаю, это может быть неопубликованная загрузка? Я читал страницы, которые они…

IT Шеф

Я хочу запустить один из моих скриптов Python с использованием GCP. Я новичок в GCP, поэтому мало что понимаю. Мой скрипт python получает данные из BigQuery и выполняет…

IT Шеф

Я изо всех сил пытаюсь заставить запускать триггеры на основе времени события для моего конвейера лучей apache, но, похоже, могу запускать запуск окна со временем обработки. Мой конвейер…

IT Шеф

Я пытаюсь запустить конвейер Apache Beam в проекте Spring Boot в Google Data Flow, но эта ошибка не исчезает Failed to construct instance from factory method DataflowRunner#fromOptions(interfaceorg.apache.beam.sdk.options.PipelineOptions Пример,…

IT Шеф

Согласно документации Apache Beam, я могу найти кодировщики для конкретных типов данных, а также настраиваемые кодеры. Это дает возможность создавать собственные кодировщики путем регистрации в реестре кода. Но…

IT Шеф

Я создал очень простую задачу Apache Beam для тестирования, она написана на scala и выглядит так: object Test { def main(args: Array[String]): Unit = { val options =…

IT Шеф
We use cookies in order to give you the best possible experience on our website. By continuing to use this site, you agree to our use of cookies.
Accept
Privacy Policy