如何知道Hadoop節點上文件的確切塊大小？

我有一個1 GB的文件放在HDFS上。因此，它將被分解成塊併發送到羣集中的不同節點。如何知道Hadoop節點上文件的確切塊大小？

是否有任何命令來標識特定節點上文件塊的確切大小？

謝謝。

來源

2016-02-17 Mayank Porwal

塊大小在整個HDFS中是一致的，而不是每個節點的值。特定的文件可以被賦予不同的塊大小。

有關dfs.blocksize屬性，請參閱hdfs-site.xml。

對於全新的非供應商HDFS安裝，默認值爲大約128兆字節。

來源

2016-02-17 13:54:03

我沒有評論的評價。

看一看documentation頁面設置各種屬性，其中涵蓋

dfs.blocksize

除了配置更改，您可以用

hadoop fs -ls fileNameWithPath

例如查看文件的實際大小

hadoop fs -ls /user/edureka

輸出：

-rwxrwxrwx 1 edureka supergroup  391355 2014-09-30 12:29 /user/edureka/cust

來源

2016-02-17 14:15:03

你應該使用hdfs fsck命令：

hdfs fsck /tmp/test.txt -files -blocks

該命令將打印的文件的所有塊信息包括：

/tmp/test.tar.gz 151937000 bytes, 2 block(s): OK 
0. BP-739546456-192.168.20.1-1455713910789:blk_1073742021_1197 len=134217728 Live_repl=3 
1. BP-739546456-192.168.20.1-1455713910789:blk_1073742022_1198 len=17719272 Live_repl=3

正如你在這裏所看到的，顯示了（len每行中的字段）塊的實際使用容量。

另外還有hdfs fsck的許多其他有用的功能，你可以在官方Hadoop documentation page看到。

來源

2016-02-17 21:20:52 maxteneff

我已經設置了2個節點的hadoop集羣。而且，我試圖測試主人是否與奴隸溝通？因此，我在HDFS中複製了一個文件（159 MB）。現在，它應該被分成2個塊，每個節點上有1個塊。當我運行fsck命令時，得到： /abc.txt 166612212字節，2個塊：在複製BP-531753399-127.0.1.1-1455542244078：blk_1073741826_1002。目標副本是2，但找到1個副本。已複製BP-531753399-127.0.1.1-1455542244078：blk_1073741827_1003。目標副本是2，但找到1個副本。讓我知道爲什麼我的設置無法正常工作？有沒有更好的方法？ –

監控HDFS健康狀況的最簡單方法是使用'hdfs dfsadmin -report'命令。如果你看到並非所有的datanode都已經啓動，而是試圖檢查那些datanode的日誌。 – maxteneff

如何知道Hadoop節點上文件的確切塊大小？

回答

相關問題