hadoop

0熱度

1回答

hadoop中有刪除以ab開頭的文件的命令嗎？這些文件可以出現在子目錄中，並且該操作應該是遞歸的。東西類似如下： Hadoop fs -rmr /mydir/ab*

0熱度

1回答

我的Hadoop 2.8.1 可配置HDFS-site.xml中 <configuration> # Add the following inside the configuration tag <property> <name>dfs.data.dir</name> <value>/app/dfs/name/data</value> <final>true

1熱度

1回答

將日期轉換爲星期名稱和當天的部分時間

那麼我如何從下列輸入中獲取豬的這個輸出。該命令我應該使用輸入： 10/3/2013 1200 10/4/2013 0000 預期輸出： Monday Morning Tuesday Evening

0熱度

1回答

Hadoop作業ID是什麼意思？

創建Hadoop作業時，會爲其分配唯一的ID。例如，我剛剛運行了一個ID爲job_201709221002_0046的工作。看起來第一部分是某種時間戳，但這不是提交工作的日期。下劃線之後的部分似乎是連續的。這是什麼意思？編輯：我正在看的工作是一週。我剛剛在2017年10月20日星期五上午12點22分3秒提交了一份新表，並分配了工作編號job_201709221002_0047。

0熱度

1回答

包裝類型如何在Hadoop中工作？

我不是一個Java專家，但我知道Java的基礎知識，並且總是試圖在遇到任何問題時深入理解Java代碼。這可能是一個非常愚蠢的疑問，但很想清楚地理解我的想法。我在Java社區發佈，因爲我的疑問只是關於Java。自從最近幾個月我和hadoop一起工作後，發現hadoop使用自己的類型，這些類型被封裝在Java的原始類型中，以便在序列化和反序列化的基礎上提高跨網絡發送數據的效率。我的困惑就從這裏

3熱度

1回答

的Bigtop docker-hadoop.sh無法啓動

我使用的Bigtop 1.2.0流浪供應方運行良好，但是當我嘗試使用泊塢置備了以下錯誤顯示：命令 $ ./docker-hadoop.sh -c 3 錯誤 Environment check... Check docker: Docker version 17.09.0-ce, build afdb6d4 Check docker-compose: docker-compose version

1熱度

1回答

爲什麼我應該避免在Hadoop HDFS中存儲大量小文件？

我讀過很多存儲在HDFS中的小文件，因爲大量的小文件意味着大量的對象Hadoop NameNode內存。但是由於每個塊都作爲一個對象存儲在命名節點中，它對於一個大文件有何不同？無論您是從內存中的單個文件存儲1000個塊還是1000個文件存儲1000個塊，使用的NameNode內存量是否相同？對於地圖工作類似的問題。由於它們在塊上運行，如果塊是小文件還是大塊文件，它們有什麼關係？

0熱度

1回答

如何將文件「file1.txt」從本地複製到具有不同名稱的hadoop？

我需要將文件file1.txt從本地複製到hadoop，我想在hadoop中使用不同名稱（如「test.txt」）的「file1.txt」。 Hoow能實現嗎？

0熱度

2回答

如何在下面的代碼中生成對象？

我想了解一個java代碼。（Java的基本知識）這裏的是 WordCountMapper類 package com.company; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import or

2熱度

1回答

Impala ODBC/JDBC性能不佳 - 與NN相比，遠程服務器的行提取速度很慢

在CDH的NameNode中，當我通過odbc腳本（php/perl或python）運行查詢時，我可以獲取所有結果（9.2M）在一個變量中大約30秒，但是當我用相同的腳本/查詢試圖另一個遠程2級的服務器上時，執行時間是在第一服務器28分鐘和在第二17分鐘。要排除的假設，這是一個網絡速度問題，我獲取結果上的一個文件，然後我跟scp命令複製到第一個遠程服務器，並完成了〜40秒。我在查詢信息觀察什麼