Я использую apache-beam[gcp]==2.19 вместе с google-cloud-pubsub==1.2.0. Эти 2 в настоящее время совместимы с python 3.6.5. Я использую действия github для запуска тестов и развертывания. Действия github в настоящее…
google-cloud-dataflow
При обработке моих данных в ParDo мне нужно использовать схему JSON, хранящуюся в Google Cloud Storage. Я думаю, это может быть неопубликованная загрузка? Я читал страницы, которые они…
Я хочу запустить один из моих скриптов Python с использованием GCP. Я новичок в GCP, поэтому мало что понимаю. Мой скрипт python получает данные из BigQuery и выполняет…
Я изо всех сил пытаюсь заставить запускать триггеры на основе времени события для моего конвейера лучей apache, но, похоже, могу запускать запуск окна со временем обработки. Мой конвейер…
Я пытаюсь запустить конвейер Apache Beam в проекте Spring Boot в Google Data Flow, но эта ошибка не исчезает Failed to construct instance from factory method DataflowRunner#fromOptions(interfaceorg.apache.beam.sdk.options.PipelineOptions Пример,…
Мне нужно прочитать файл AVRO из облачного хранилища, а затем записать запись в большую таблицу с ключом строки и AVRO в виде байтов в ячейке столбца .. Я…
В настоящее время мы пытаемся запустить OpenCV в задании Java в Google Cloud Dataflow. К сожалению, мы не можем заменить контейнер Docker, который использует Dataflow, на контейнер с…
В Dataflow 1.9 раньше был TemplatingDataflowPipelineRunner, а в Beam его нет. Каковы шаги по созданию конвейера шаблона потока данных с помощью Java SDK для Beam 2.0?
Таким образом, существующая настройка, которую мы использовали для создания новой таблицы на каждый день, отлично работала с » WRITE_TRUNCATE «, однако, когда мы обновили наш код, чтобы использовать…