nutch2.0 Hadoop的輸入路徑不存在

Question

Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://yuqing-namenode:9000/user/yuqing/2 
at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:235) 
at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:252) 
at org.apache.hadoop.mapred.JobClient.writeNewSplits(JobClient.java:962) 
at org.apache.hadoop.mapred.JobClient.writeSplits(JobClient.java:979) 
at org.apache.hadoop.mapred.JobClient.access$600(JobClient.java:174) 
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:897) 
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:850) 
at java.security.AccessController.doPrivileged(Native Method) 
at javax.security.auth.Subject.doAs(Subject.java:415) 
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121) 
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:850) 
at org.apache.hadoop.mapreduce.Job.submit(Job.java:500) 
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:530) 
at org.apache.nutch.util.NutchJob.waitForCompletion(NutchJob.java:50) 
at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:219) 
at org.apache.nutch.crawl.Crawler.runTool(Crawler.java:68) 
at org.apache.nutch.crawl.Crawler.run(Crawler.java:136) 
at org.apache.nutch.crawl.Crawler.run(Crawler.java:250) 
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) 
at org.apache.nutch.crawl.Crawler.main(Crawler.java:257) 

當我刪除的Nutch的conf的Hadoop的配置文件，錯誤的第一行變成：

Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/home/yuqing/workspace/nutch2.0/2 

一旦我運行HBase的Nutch2.0成功，但現在完整的分配是不行的。 完全分佈的Hbase運行正常，我可以在shell中運行它。 接下來我在nutch2.0中創建一個文件夾，然後爬蟲可以運行，但是控制檯的輸出看起來不正常。 現在我得吃一頓飯。

Answer 1

看起來像沒有輸入路徑。正如hadoop所說的那樣。 檢查，hdfs dfs -ls/user/yuqing/2返回的東西（2應該是文件或目錄）

至於第二部分，當你刪除hadoop configs，hadoop庫使用內部配置（你可以找到它們在名稱爲* -default.xml，fe core-default.xml的發行版中）以及以「本地」模式運行的hadoop函數。在'本地'模式下，所有路徑都是本地的（在本地文件系統中）。 因此，當你以'hdfs'模式引用文件時，f.e. hdfs dfs -ls/some/file，hadoop會在hdfs（hdfs：//namenode.ip/some/file）中查找文件，但是在本地模式下，文件將在相對位置（通常是文件：/ home/user/some /文件）。 你可以在你的輸出中看到：file：/home/yuqing/workspace/nutch2.0/2