HDFS空間發佈 - 最佳解決方案

我想在HDFS中釋放一些空間，所以我需要找出一些不需要/未使用的HDFS塊/文件，並且需要刪除或存檔。那麼到目前爲止，什麼會被視爲最佳解決方案呢？我正在使用Clouder發行版。（我的集羣HDFS容量爲900 TB，使用700 TB）HDFS空間發佈 - 最佳解決方案

來源

2017-08-04 SriniDK

如果您運行的是Cloudera的許可版本，則可以使用Cloudera Navigator查看哪些文件尚未使用一段時間，並且可以指定政策刪除它們。

如果不是，您可能會在編寫腳本來識別尚未使用的文件，並且您必須手動刪除它們。

來源

2017-08-06 20:53:10

@Gault，你能告訴我我們如何找出未被使用的文件，是通過審計日誌部分還是其他方式？由於這個原因，是否會有超載的性能？ – SriniDK

Srini，你使用的是Cloudera的授權版本還是開源版本？如果獲得許可版本，則通過在導航器界面中指向並單擊即可獲取此信息。請參閱此處的文檔：https://www.cloudera.com/documentation/enterprise/latest/topics/cn_iu_introduce_navigator.html#cn_topic_2。如果您使用的不是Cloudera Navigator附帶的開源版本，那麼您將不得不編寫腳本來遍歷HDFS，並根據上次訪問時間進行搜索等。 –

再次感謝Gault。我是cloudera navigator的新手，如果你有空閒時間，你能否提供更詳細的建議。如果你能夠給我提供非常好的屏幕截圖。 – SriniDK

HDFS空間發佈 - 最佳解決方案

回答

相關問題