我們遇到了有關將數據從Google Cloud Datastore傳輸到Bigquery的問題。我們需要在python中爲此作業創建數據流腳本。這項工作應該通過在python中使用管道將數據從數據存儲轉移到bigquery。對於python中的這項工作,它需要「Apache Beam」庫。但是Apache Beam庫不起作用。有人能幫助我們嗎?使用Python中的數據流管道將數據從Google數據存儲轉移到Bigquery
0
A
回答
1
Google Cloud Dataflow SDK for Python已準備好使用,此時Google雲端平臺支持Beta級別。它基於Apache Beam代碼庫。請按照Quickstart開始使用此SDK。如果您發現特定錯誤,請提出單獨問題並引用具體問題。
也就是說,用於Python的SDK不提供直接訪問Google Cloud Datastore的API。您可以使用通用的Source
和Sink
API編寫一個。這並不難,但也不是微不足道的。這是我們正在積極努力的工作,並且Python SDK將在不久的將來包含此API。
與此同時,我會建議嘗試用於此任務的Java SDK,其中包括DatastoreIO
和BigqueryIO
API。
相關問題
- 1. 將數據從MySQL遷移到Google App Engine(Python)數據存儲
- 2. 將Google數據存儲備份從數據存儲加載到Google BigQuery
- 3. 從Cloud Pubsub到數據存儲區的數據流管道
- 4. 在數據流管道中從數據存儲中讀取數據時緩慢
- 5. 將數據從Google Cloud-SQL移動到雲數據存儲
- 6. 將數據從BigQuery數據集轉移到我自己創建的BigQuery表
- 7. 從數據存儲流入數據流?
- 8. 使用python將數據從xml存儲到數據庫
- 9. 將數據存儲備份數據加載到BigQuery中writeDisposition
- 10. 將雲存儲中的數據流式傳輸到BigQuery
- 11. 使用Google雲數據流從一個數據存儲中讀取數據並寫入另一個數據流
- 12. 將數據從MicrosoftSQLServer上傳到Google BigQuery
- 13. 將數據從Google數據存儲區(GAE)遷移到Google Cloud SQL
- 14. 將數據從teradata遷移到bigquery
- 15. 將數據從Redshift遷移到BigQuery
- 16. 使用python將數據庫數據存儲到json文件中
- 17. 使用GET方法將數據流式傳輸到Google BigQuery?
- 18. Google雲端數據流管道設置
- 19. 使用Google Plus API將流數據存儲在MYSQL數據庫中
- 20. 如何使用BigQuery測試數據流管道
- 21. 數據將由BigQuery存儲的位置
- 22. Google BigQuery無法將數據加載到共享數據集中
- 23. Google BigQuery - 從Google雲端存儲直接上傳數據
- 24. 將數據從Google Spreadsheets寫入BigQuery表
- 25. 使用JPA2將數據異步放入Google數據存儲
- 26. 調度數據流管道
- 27. 管道數據流設有
- 28. 如何從Google BigQuery將數據加載到Google Cloud Bigtable中
- 29. 使用Java將數據從Google Cloud Storage加載到BigQuery
- 30. 使用Java將數據從Google Cloud Storage加載到BigQuery