如何從Hadoop中的hdfs文件中刪除一些數據

Question

我會上傳50GB關於Hadoop集羣的數據。 但現在我想刪除數據文件的第一行。 如果我手動刪除數據&更改，這很耗時。然後在HDFS上再次上傳。 請回復我。

Answer 1

HDFS文件是不可變的（for all practical purposes）。

您需要上傳修改後的文件。您可以使用進行近身份轉換的M/R作業以編程方式進行更改，例如。運行一個streaming外殼腳本，它的確如此sed，但其要點是你需要創建新的文件，HDFS文件不能被編輯。