2017-07-27 33 views
0

我想使用experimental option,它允許我在執行加載作業時更新BigQuery模式。是否可以使用BigQuery加載配置中的setSchemaUpdateOptions(ALLOW_FIELD_ADDITION)在Dataflow中使用內置的BigQueryIO.Write?

我使用的數據流,並內置BigQueryIO.write從SDK。

我看到使用BigQuery API中的JobConfigurationLoad.setSchemaUpdateOptions(ALLOW_FIELD_ADDITION)有可能,但我無法找到BigQueryIO的等效項。

是否存在的地方或者我可以覆蓋BigQueryIO某些部分做呢?

非常感謝你,

回答

0

據我所知,是實驗性的選項尚未通過數據流/梁API公開在BigQueryIO,它不會是一個簡單的任務覆蓋的東西在這個類 - 我不會」建議沿着這條路線走。

一個解決辦法,我能想到的將是您的接收器重定向到GCS代替的BigQuery,然後在你的管道末端執行正常的BigQuery工作負載(一個或多個)。這樣你可以使用該選項。

+0

好像一個選擇,我會嘗試一下非常感謝你!如何在異步執行管道後執行簡單的加載作業?它可以在相同的代碼? 感謝 – orayer

+0

只需運行您的管道,等到它完成,然後使用API​​之後,從GCS文件舀至BigQuery。 –

+0

感謝您的回覆,一旦我成功嘗試過,我會驗證評論! – orayer

相關問題