Как создать конвейер шаблона потока данных с помощью Beam 2.0?

21.06.2017Рубрика: ВопросыАвтор: admin

В Dataflow 1.9 раньше был TemplatingDataflowPipelineRunner, а в Beam его нет. Каковы шаги по созданию конвейера шаблона потока данных с помощью Java SDK для Beam 2.0?

Post Views: 88

См. также: Как записать вывод команды cmd tree с помощью задачи Apache Ant exec?

1 apache-beam google-cloud-dataflow templates

Комментарии: 1

Scott Wegner 21.06.2017 в 00:00
Начиная с Beam 2.0, используйте DataflowRunner и укажите --templateLocation:
```
mvn compile exec:java \
 -Dexec.mainClass=com.example.myclass \
 -Dexec.args="--runner=DataflowRunner \
              --project=[YOUR_PROJECT_ID] \
              --stagingLocation=gs://[YOUR_BUCKET_NAME]/staging \
              --output=gs://[YOUR_BUCKET_NAME]/output \
              --templateLocation=gs://[YOUR_BUCKET_NAME]/templates/MyTemplate"
```
Обратите внимание, что --templateLocation заменяет предыдущий --dataflowJobFile.

См. Документацию по потоку данных на странице Создание и размещение шаблонов для Java SDK 2.X
Ответить

Добавить комментарий