支持Cloud Bigtable作爲雲數據流中的接收器

是否有計劃使Cloud Dataflow能夠將數據寫入Cloud Bigtable？它甚至有可能嗎？支持Cloud Bigtable作爲雲數據流中的接收器

添加自定義Sink來處理IO可能是乾淨的選擇。

作爲一種解決方法，我嘗試連接到一個簡單的DoFn Bigtable（同一個項目）。打開startBundle步驟中的連接和表格，並在finishBundle中關閉它們。

此外，我將bigtable-hbase jar (0.1.5)添加到類路徑中，並將修改後的版本hbase-site.xml添加到獲取的資源文件夾中。

在雲中運行時，出現NPN/ALPN extensions not installed異常。

在本地運行時，我得到一個異常，指出ComputeEngineCredentials cannot find the metadata server.，儘管已將GOOGLE_APPLICATION_CREDENTIALS設置爲生成的json密鑰文件。

任何幫助將不勝感激。

2015-06-09 codemoped

我確實得到'NPN/ALPN擴展未安裝錯誤。讓我們看看需要採取什麼措施來糾正它。 –

我們目前正在爲Cloud Bigtable提供支持，將其作爲雲數據流中的源代碼和接收器，但我還沒有具體的時間表與您分享。 – jkff

我們將在下週開源一個ParDo（）示例。 –

Cloud BigTable需要NPN/ALPN網絡jar。目前Dataflow工作人員尚未安裝該工具。因此，直接從ParDo訪問Cloud BigTable將無法正常工作。

一個可能的解決方法是使用HBase REST API設置REST服務器以訪問數據流之外的虛擬機上的Cloud Bigtable。 These instructions可能會有所幫助。

然後，您可以向此REST服務器發出REST請求。如果您發送大量請求（即處理大量數據並需要設置REST服務器的多個實例並在它們之間實現負載均衡），這可能會有點複雜。

2015-06-09 21:05:07

感謝您的澄清。我很懷疑。你知道這個問題的解決方法嗎？或者我應該坐下來等待Google開發團隊爲Cloud Bigtable提供支持？ – codemoped

我們現在有一個Cloud Bigtable/Dataflow連接器。你可以看到更多：https://cloud.google.com/bigtable/docs/dataflow-hbase

2015-08-31 21:46:13

回答