1. 首頁
  2. 問答
  3. 將上百萬條數據上傳到Google App Engine數據存儲

將上百萬條數據上傳到Google App Engine數據存儲

2013-02-04 39 views
-1

我正試圖找到將我的巨大數據傳輸到Google應用引擎數據存儲的最佳方法。我們是java開發人員，如果您能夠圍繞Google App Engine Java提出解決方案，那將會很棒。將上百萬條數據上傳到Google App Engine數據存儲

我已經看到很少的解決方案，如谷歌應用程序引擎管道，地圖縮小和嘗試它們，但沒有任何工作。有沒有真正的解決方案可行？

感謝， Ramesh.V

來源

2013-02-04 Ramesh V

+0

你爲什麼不使用[谷歌雲存儲（https://cloud.google.com/products/cloud-storage）？無限的空間，無限的對象大小限制和[GAE Java API]（https://developers.google.com/appengine/docs/java/googlestorage/overview）。 – Eich

+0

Google雲端存儲不是一個存儲數據的數據庫，它是一個文件存儲，我想移動我的數據庫數據，Google雲端存儲能幫助我嗎？ –

+0

是的，這不是一個數據庫。但在我看來，數據庫並不適合存儲（單個）hughe數據。這也是你只能存儲max的原因。 GAE Datastore中的1Mb對象。如果您確實想要使用數據庫而不是文件存儲系統，可以使用[GAE Java SDK]（https：//開發人員）[Google Cloud SQL]（https://developers.google.com/cloud-sql/） .google.com/appengine/docs/java/cloud-sql/developers-guide）是您正在搜索的內容。 – Eich

回答

0

我不知道的最好方式，但你看了GAE/J對Java遠程API？

來源

2013-02-04 11:14:56

+0

GAE/J遠程API沒有特殊的東西來上傳大量數據，它的常規API調用... –

1

我做了什麼，將它們分成最大32MB的文件？將它們與後端源代碼一起上傳，並在後端編寫程序以將數據提取到數據存儲記錄......請注意，每條記錄的最大大小爲1MB。

來源

2013-02-06 09:37:32

+0

您是否想要讀取源代碼中的文件並將其插入到數據存儲中？ –

+0

其實，我必須糾正我的答案。我所做的是編寫一個程序來處理通過HTTP POST進行的文件上傳，每個通過HTTP POST上傳的文件都小於32MB，數據立即處理到數據存儲區。 –

+0

@勞倫斯·莫克你是怎麼做到的？ –

0

爲什麼不試試Google BigQuery？

https://cloud.google.com/products/big-query

Here's a howto for the data transfer

來源

2013-02-06 09:42:49

+0

對不起，谷歌大查詢不是數據存儲，而是一個平臺，用於對來自數據存儲的大型結構化文件執行類似SQL的查詢，我們可以將文件導出爲大型查詢，然後通過GAE應用程序的其餘API執行SQL例如顯示統計信息，儀表板），但不是相反 –

相關問題

 相關問題