爲什麼谷歌文件系統劃分文件成塊

Question

在紙The Google File System第2.3節，它說：

文件被分爲固定sizechunks。

但是不要說明原因。這有什麼好處？

Answer 1

對於我所知道的，有幾個原因

1. 文件存儲在GFS是非常大的，甚至是PB，沒有這麼大的磁盤來存儲它。
2. 而不是可變大小，固定大小的塊很容易索引和查詢。
3. 實際上，每個塊的大小都不小，大約64MB，也是一個很大的大小，這樣就可以減少GFS所需的元數據數量。

Answer 2

易複製性。 與整個文件相比，複製幾個塊更容易。如果在複製過程中發生任何錯誤，則只需要再次複製失敗的塊。

餘額服務器加載。 讀寫操作都可以在所有塊服務器之間分開。

提高讀寫吞吐量。 由於數百臺服務器可以同時處理請求，所以讀取和寫入吞吐量都可以得到增強。應用程序從主服務器獲取文件塊的元數據，然後直接從塊服務器獲取這些塊。

更好的磁盤利用率。 如果你的文件往往很大，那麼一個塊和磁盤只有很少的空間，爲塊而不是整個文件找到足夠的空間更容易。

易於完整性檢查。 計算塊的校驗和比整個文件快。當檢測到損壞的塊時，更容易修復塊而不是整個文件。