什麼是Hadoop塊抽象。需要關於此的更多詳細信息

Question

我正在閱讀Hadoop權威指南，並沒有清除以下概念。

1. 塊抽象，有人可以詳細說明這一點。

2. 使抽象單元成爲塊而不是文件簡化了存儲子系統。

   a）什麼是一個塊的抽象單位？

   b。）如何製作抽象單元？

   c）它如何簡化存儲子系統？

Answer 1

HDFS塊抽象：

HDFS塊的大小是64MB-128MB（通常情況下），並且不像其他的文件系統，文件小於塊尺寸並不佔全部塊大小的值得記憶。

塊大小保持如此之大，以便與磁盤數據傳輸速率相比，磁盤尋道的時間縮短。

爲什麼塊抽象：

• 文件可以比單個磁盤
• 文件系統元數據並不需要與每塊關聯更大。
• 簡化存儲管理 - 輕鬆計算每個磁盤上可以存儲的塊的數量。
• 容錯和存儲複製可以很容易地以每塊爲基礎完成（存儲/ HA策略可以在單個塊上運行）。

Answer 2

HDFS在某些方面只是另一個文件系統，它像所有其他文件系統一樣，將文件分解成塊。這裏的主要區別在於塊較大（例如：128MB）而不是較小的（例如4KB），並且每個塊都在更大的HDFS體系結構中的不同服務器上進行復制。

我們大多數人不直接使用塊，我們使用文件工作，有人可能會爭辯說，這種「塊抽象」實際上有兩個目的。

• 首先，通過繼續添加服務器，讓存儲子系統（HDFS）達到海量級別。其次，它讓框架（如MapReduce，TEZ，HBase，Spark等）在處理邏輯完整文件時將其戰術工作與這些塊對齊。