Как создать конвейер шаблона потока данных с помощью Beam 2.0?

В Dataflow 1.9 раньше был TemplatingDataflowPipelineRunner, а в Beam его нет. Каковы шаги по созданию конвейера шаблона потока данных с помощью Java SDK для Beam 2.0?

См. также:  Невозможно привязать данные к таблице данных материалов Angular
Понравилась статья? Поделиться с друзьями:
IT Шеф
Комментарии: 1
  1. Scott Wegner

    Начиная с Beam 2.0, используйте DataflowRunner и укажите --templateLocation:

    mvn compile exec:java \
     -Dexec.mainClass=com.example.myclass \
     -Dexec.args="--runner=DataflowRunner \
                  --project=[YOUR_PROJECT_ID] \
                  --stagingLocation=gs://[YOUR_BUCKET_NAME]/staging \
                  --output=gs://[YOUR_BUCKET_NAME]/output \
                  --templateLocation=gs://[YOUR_BUCKET_NAME]/templates/MyTemplate"
    

    Обратите внимание, что --templateLocation заменяет предыдущий --dataflowJobFile.

    См. Документацию по потоку данных на странице Создание и размещение шаблонов для Java SDK 2.X

Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: