google-cloud-bigtable

1熱度

1回答

我正在使用Google Dataproc羣集來對Bigtable運行Spark M/R作業。通過網絡從Bigtable發送到Dataproc羣集以執行地圖階段還是地圖階段在Bigtable羣集上物理運行？

0熱度

1回答

我們正在嘗試運行日常Dataflow管道，該管道讀取Bigtable並將數據轉儲到GCS中（使用HBase的Scan和BaseResultCoder作爲編碼器），如下所示（只是爲了強調這個想法）： Pipeline pipeline = Pipeline.create(options); Scan scan = new Scan(); scan.setCacheBlocks(

1熱度

2回答

無法計數的行數在BigTable的

https://cloud.google.com/bigtable/docs/go/cbt-reference 如該參考文獻，我嘗試以下命令 cbt count <table> 爲三個不同的表。對於其中之一，我得到了我的預期：行數，有點害羞1M。對於第二個表，我得到了以下錯誤： [~]$ cbt count prod.userprofile 2016/10/23 22:47:48 Rea

0熱度

1回答

谷歌的Cloud Bigtable StatusRuntimeException錯誤掃描一個表中的所有行的時候

我試圖掃描使用Java API谷歌的BigTable的表中的所有行（1.3M〜行），但我得到以下錯誤： Error while reading table 'projects/firm-link-147413/instances/some-bigger-table/tables/media-location-demo' : Response was not consumed in time; te

1熱度

2回答

任意標籤的BigQuery架構設計

我在研究使用BigQuery以時間序列存儲傳感器數據的可行性。目的是將數據存儲在BQ中，並將其處理成Pandas ......迄今爲止這麼好...... Pandas可以解釋TIMESTAMP字段索引並創建一個Series。另一個要求是數據支持任意標籤作爲鍵/值對（例如job_id = 1234，task_id = 5678）。 BigQuery的可記錄類型重複場很好地支持這一點： {'

0熱度

1回答

谷歌的Cloud Bigtable Python客戶端API

谷歌的Bigtable Python客戶端Library仍處於阿爾法，這意味着未來的變化可能不向後兼容，沒有SLA。有誰知道圖書館什麼時候有生產支持？爲了讓更多的背景，我辯論的Bigtable與數據存儲。我更熟悉C++和Python。要構建的服務是 - 用戶可以編寫帖子並添加標籤。用戶可以搜索或過濾特定用戶或標籤的帖子。 Bigtable似乎是一個很好的選擇（用戶id作爲行鍵和標記作爲列族

0熱度

1回答

標準（非靈活）Google App Engine是否支持Google Cloud Bigtable？

有沒有官方網頁，這個問題的答案？在2016年11月，我試圖運行一些Java Bigtable代碼，並且它在本地開發服務器和實際的遠程實例上都失敗。我試過兩種庫的不同版本。 Appengine會抱怨使用JMX或運行線程。在這兩種情況下，這些技術/ API的使用都是深入內部的，被Bigtable客戶端核心用於連接建立等。

0熱度

1回答

com.google.cloud.dataflow.sdk.util.IllegalMutationException在DoFn轉換爲org.apache.hadoop.hbase.client.Put

我想將對象轉換爲org.apache.hadoop.hbase.client。放入DoFn。我不斷收到此錯誤： com.google.cloud.dataflow.sdk.util.IllegalMutationException: DoFn DataBuckettingToBigTableConnectorFn mutated value {"totalColumns":36,"row":"H

0熱度

2回答

管理谷歌的Cloud Bigtable從SQLAlchemy的

看來，SQL鍊金術可以連接到在谷歌雲SQL運行MySQL表。不過，我花時間去尋找谷歌的Cloud Bigtable，一個的NoSQL數據庫的包裝，並不能找到任何足夠成熟。想知道如何從SQL Alchemy管理Google Cloud Bigtable。

8熱度

2回答

我應該使用哪種適用於Spark 2.0的HBase連接器？

我們的堆棧是由谷歌數據PROC（星火2.0）和谷歌的BigTable（HBase的1.2.0）的，我期待與這些版本一起工作的連接器。星火2.0和新的DataSet API的支持是我不明白的連接器，我發現：火花HBase的：https://github.com/apache/hbase/tree/master/hbase-spark 火花HBase的連接器：https://github.com/