Мне нужно прочитать файл AVRO из облачного хранилища, а затем записать запись в большую таблицу с ключом строки и AVRO в виде байтов в ячейке столбца .. Я…
apache-beam
В настоящее время мы пытаемся запустить OpenCV в задании Java в Google Cloud Dataflow. К сожалению, мы не можем заменить контейнер Docker, который использует Dataflow, на контейнер с…
В Dataflow 1.9 раньше был TemplatingDataflowPipelineRunner, а в Beam его нет. Каковы шаги по созданию конвейера шаблона потока данных с помощью Java SDK для Beam 2.0?
Apache Beam недавно представил ячейки состояний с помощью аннотаций StateSpec и @StateId с частичной поддержкой в Apache Flink и Google Cloud Dataflow. Мой вопрос касается сборки мусора состояния…
Таким образом, существующая настройка, которую мы использовали для создания новой таблицы на каждый день, отлично работала с » WRITE_TRUNCATE «, однако, когда мы обновили наш код, чтобы использовать…