我需要一個很好的解決方案,最好是現有的解決方案,例如Google Rest API,以便將數據傳輸/插入到BigQuery中。我不想使用POST方法發送數據 - 出於許多設計原因。我期望每秒寫入數千次。數據將被附加到url的查詢參數中。它與谷歌分析非常類似,使用Get方法發送分析數據。使用GET方法將數據流式傳輸到Google BigQuery?
0
A
回答
0
谷歌雲功能(GCF)解決了這個問題。 GCF仍處於測試階段,但大多數谷歌產品都處於測試階段。 GCF無服務器,可以用幾行代碼編寫http觸發器。欲瞭解更多信息,請訪問 - >https://console.cloud.google.com/functions
0
這裏有一個禮物:
http://dmitriilin.com/exporting-data-google-analytics-google-bigquery/ https://github.com/lnklnklnk/ga-bq
如果您有任何額外的問題問我,我這個解決方案工作。
0
我也可能鼓勵您使用類似Dataflow流式管道的東西來處理這些插入,而不是直接調用API。
相關問題
- 1. 將數據流式傳輸到Google BigQuery的模式
- 2. BigQuery使用insertAll流式傳輸數據
- 3. 沒有將數據流式傳輸到BigQuery的錯誤響應
- 4. 將雲存儲中的數據流式傳輸到BigQuery
- 5. Google BigQuery節點庫:如何分批流式傳輸數據?
- 6. 如何使用Nodejs將插入流式傳輸到BigQuery?
- 7. 使用Java將JSON流式傳輸到BigQuery
- 8. 將數據從MicrosoftSQLServer上傳到Google BigQuery
- 9. 何時將流式傳輸到BigQuery表的數據用於查詢操作?
- 10. 將數據流式傳輸到opentsdb
- 11. 是否可以將數據流式傳輸到Google App Engine?
- 12. 將數據流式傳輸到BigQuery時出現Java代碼錯誤
- 13. 將數據流式傳輸到BigQuery中的旋轉日誌表中
- 14. 在Windows上使用C將數據流式傳輸到聲卡
- 15. 如何使用Hapi將數據流式傳輸到瀏覽器?
- 16. 使用Python SDK進行數據流流式傳輸:將PubSub消息轉換爲BigQuery輸出
- 17. 傳遞數據使用GET方法
- 18. 使用WCF流式傳輸數據
- 19. 使用Django流式傳輸json數據
- 20. BigQuery中流式傳輸的可靠性
- 21. Python:將Excel數據直播流式傳輸到數據框
- 22. Google BigQuery無法將數據加載到共享數據集中
- 23. bigquery數據位置傳輸
- 24. Restlet流式傳輸數據
- 25. 使用IP地址流式傳輸數據的node-maxmind用法
- 26. 將數據流傳輸到S3
- 27. 使用GET方法將數據傳遞給url的問題
- 28. 如何處理流式傳輸HTTP GET數據?
- 29. 使用Java將數據從Google Cloud Storage加載到BigQuery
- 30. 使用Java將數據從Google Cloud Storage加載到BigQuery
感謝Marco,但我最終使用Google Cloud功能,解決了這個問題。 – ituring