google-cloud-dataflow ⋆ Техно Мир Сегодня

Установка определенной версии python для действия github

admin05.02.202102.02.2023

05.02.202102.02.2023

Я использую apache-beam[gcp]==2.19 вместе с google-cloud-pubsub==1.2.0. Эти 2 в настоящее время совместимы с python 3.6.5. Я использую действия github для запуска тестов и развертывания. Действия...

Вопросы

Неопубликованные статические данные

admin23.12.201902.02.2023

23.12.201902.02.2023

При обработке моих данных в ParDo мне нужно использовать схему JSON, хранящуюся в Google Cloud Storage. Я думаю, это может быть неопубликованная загрузка? Я читал...

Вопросы

Можно ли запустить собственный скрипт Python в потоке данных Apache Beam или Google Cloud

admin30.10.201902.02.2023

30.10.201902.02.2023

Я хочу запустить один из моих скриптов Python с использованием GCP. Я новичок в GCP, поэтому мало что понимаю. Мой скрипт python получает данные из...

Вопросы

Почему срабатывает мое окно времени обработки, а время события — нет

admin06.08.201902.02.2023

06.08.201902.02.2023

Я изо всех сил пытаюсь заставить запускать триггеры на основе времени события для моего конвейера лучей apache, но, похоже, могу запускать запуск окна со временем...

Вопросы

Запуск конвейера Apache Beam в проекте Spring Boot в потоке данных Google

admin05.08.201902.02.2023

05.08.201902.02.2023

Я пытаюсь запустить конвейер Apache Beam в проекте Spring Boot в Google Data Flow, но эта ошибка не исчезает Failed to construct instance from factory...

Вопросы

Луч — Прочтите AVRO и преобразуйте

admin12.12.201802.02.2023

12.12.201802.02.2023

Мне нужно прочитать файл AVRO из облачного хранилища, а затем записать запись в большую таблицу с ключом строки и AVRO в виде байтов в ячейке...

Вопросы

Установите зависимости apt-get в Google Dataflow с помощью Beam Java SDK

admin23.08.201702.02.2023

23.08.201702.02.2023

В настоящее время мы пытаемся запустить OpenCV в задании Java в Google Cloud Dataflow. К сожалению, мы не можем заменить контейнер Docker, который использует Dataflow,...

Вопросы

Как создать конвейер шаблона потока данных с помощью Beam 2.0?

admin21.06.201702.02.2023

21.06.201702.02.2023

В Dataflow 1.9 раньше был TemplatingDataflowPipelineRunner, а в Beam его нет. Каковы шаги по созданию конвейера шаблона потока данных с помощью Java SDK для Beam...

Вопросы

Загрузка данных в разделенную таблицу Biqquery через Google Dataflow / Beam с помощью write_truncate

admin21.02.201702.02.2023

21.02.201702.02.2023

Таким образом, существующая настройка, которую мы использовали для создания новой таблицы на каждый день, отлично работала с » WRITE_TRUNCATE «, однако, когда мы обновили наш...