一致性HASH函數

一個非常簡單的問題：這CityHash的版本背後隱藏的BigQuery的HASH功能？它總是最新的（今天v1.1），或者說是一個固定的版本？一致性HASH函數

現在，研究背景的一點點。我打算嚴重依賴BigQuery來存儲大量數據。從這些數據，第一次，我想計算一些散列值並將其存儲（如hashed_value = HASH(CONCAT(column_0, column_1))）。到現在爲止還挺好。在第二時間，我想與作爲SELECT something FROM [mytable] WHERE hashed_value = HASH(CONCAT('12345', 'foobar'))這樣的請求檢索與給定散列值的行。我的問題在於，它在CityHash網頁上指定這些功能不應該向後兼容。所以，如果BigQuery的總是依賴於最新版本的CityHash，我將不能夠根據下一個CityHash更新後的一些計算列的散列值來獲取我的數據。而對於我的應用程序，我的大型數據庫將基本上變得無用。

如果是的話，將有可能給訪問固定（或向後兼容）散列函數，除了HASH？例如SHA，MD等等，或者甚至是固定版本的CityHash。

謝謝。

來源

2012-12-13 Olivier

CityQuery在BigQuery中使用的版本是 http://code.google.com/p/cityhash/ 看着歷史，它的價值看起來可能會隨着時間而改變。這可能是一個好問題： https://groups.google.com/forum/?fromgroups#!forum/cityhash-discuss

BigQuery應該支持一致的散列。我們確實支持sha1，但現在由於編碼問題，結果無法使用。但是，您可以執行SELECT TO_BASE64(SHA1(CONCAT('12345', 'foobar')))

請注意，我們很可能會在不久的將來更改SHA1以自動對base64進行編碼結果。我提交了一個內部錯誤來做出這個改變。

來源

2012-12-14 19:18:27

哦！那很棒。但我錯過的離散參考大量查詢[參考手冊]'SHA1'（或'TO_BASE64'）（https://developers.google.com/bigquery/docs/query-reference）？或者他們只是隱藏的功能？如果是這樣，是否有可能獲得這些隱藏報表的清單？ – Olivier

不，在我們的文檔中沒有提到sha1或to_base64。這些'尚未記錄'，因此'使用風險自負'。一些「隱藏的」聲明可能是我們在公開發布前測試的功能。其中一些我們還沒有得到記錄。 –

您會推薦什麼BigQuery記錄類型來存儲160位散列值？有沒有一個祕密的二進制數據類型？ – cce

一致性HASH函數

回答

相關問題