運行時異常產生

我試圖運行首次Nutch的同時執行運行時異常產生

/斌/ Nutch的產生-topN 5

我得到以下異常：

GeneratorJob: starting at 2016-02-13 21:01:42 
GeneratorJob: Selecting best-scoring urls due for fetch. 
GeneratorJob: starting 
GeneratorJob: filtering: true 
GeneratorJob: normalizing: true 
GeneratorJob: topN: 5 
GeneratorJob: java.lang.RuntimeException: job failed: name=apache-nutch- 2.3.1.jar, jobid=job_local1061440919_0001 
at org.apache.nutch.util.NutchJob.waitForCompletion(NutchJob.java:120) 
at org.apache.nutch.crawl.GeneratorJob.run(GeneratorJob.java:227) 
at org.apache.nutch.crawl.GeneratorJob.generate(GeneratorJob.java:256) 
at org.apache.nutch.crawl.GeneratorJob.run(GeneratorJob.java:322) 
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) 
at org.apache.nutch.crawl.GeneratorJob.main(GeneratorJob.java:330)

這裏是hadoop.log堆棧跟蹤：

2016-02-13 21:01:44,541 ERROR mapreduce.GoraRecordReader - Error reading Gora records: null 
2016-02-13 21:01:44,557 WARN mapred.LocalJobRunner - job_local1061440919_0001 
java.lang.Exception: java.lang.RuntimeException: java.util.NoSuchElementException 
    at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462) 
    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:522) 
Caused by: java.lang.RuntimeException: java.util.NoSuchElementException 
    at org.apache.gora.mapreduce.GoraRecordReader.nextKeyValue(GoraRecordReader.java:122) 
    at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:533) 
    at org.apache.hadoop.mapreduce.task.MapContextImpl.nextKeyValue(MapContextImpl.java:80) 
    at org.apache.hadoop.mapreduce.lib.map.WrappedMapper$Context.nextKeyValue(WrappedMapper.java:91) 
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144) 
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:764) 
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:340) 
    at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:243) 
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) 
    at java.util.concurrent.FutureTask.run(FutureTask.java:266) 
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 
    at java.lang.Thread.run(Thread.java:745) 
Caused by: java.util.NoSuchElementException 
    at java.util.concurrent.ConcurrentSkipListMap.firstKey(ConcurrentSkipListMap.java:2036) 
    at org.apache.gora.memory.store.MemStore.execute(MemStore.java:128) 
    at org.apache.gora.query.impl.QueryBase.execute(QueryBase.java:73) 
    at org.apache.gora.mapreduce.GoraRecordReader.executeQuery(GoraRecordReader.java:67) 
    at org.apache.gora.mapreduce.GoraRecordReader.nextKeyValue(GoraRecordReader.java:109) 
    ... 12 more

我一直在這裏以下教程：https://github.com/renepickhardt/metalcon/wiki/simpleNutchSolrSetup設置nutch。

我在stackoverflow和nutch檔案中看到了一些類似例外的帖子，他們建議我可能在我的/ tmp目錄中的磁盤空間不足，但/ tmp目錄只有大約8MB的值的數據。除此之外，我不知道是什麼導致了這個異常

什麼可能是這種例外的原因？

我使用Nutch的2.3.1與HBase的沿1.1.3作爲數據存儲，我跑它在Ubuntu 15.10

感謝

來源

2016-02-16 Binoy Dalal

看着hadoop的日誌，我認爲你使用的是MemStore，而不是HbaseStore。你配置了'gora.properties'嗎？ –

修復了一些問題。謝謝！ –

我會發布答案，我有3分左邊的1K;）不客氣:) –

展望Hadoop的日誌，我認爲你正在使用的memstore ，而不是HBaseStore。你配置了gora.properties嗎？

複製從我的評論:)

來源

2016-02-18 12:21:58

有關爲什麼MemStore不能與Nutch 2.3.1一起使用的更多信息：http://stackoverflow.com/q/39834423/582789 –

運行時異常產生

回答

相關問題