nutch

0熱度

1回答

我已成功配置Hadoop（2.x），Hbase和Nutch 2.3.1。我也爬了幾個樣本頁面進行測試。現在我必須使用開源工具cld2專門針對特定語言進行抓取。如果被抓取的文檔不包含該特定語言，那麼不應該保存該文檔（在Hbase中），也不應該索引到Solr。在Nutch WIKI中，在提取時間處沒有擴展點。有沒有其他可行的方法來完成這項工作？

1熱度

1回答

如何通過nutch在hbase中添加額外的字段？

我在取時間寫了一個nutch插件。我正在對獲取的網頁進行一些分析，並將結果存儲在對應於網頁的hbase中。我不知道如何添加額外的字段以及如何使用nutch將數據寫入該字段。

0熱度

1回答

在eclipse中運行索引器作業時出現錯誤「Missing elastic.cluster and elastic.host ....」

我在eclipse中配置了apache nutch 1.13和solr 5.5.0和hbase 0.90.6。現在，我可以從注入器運行這些作業，但在運行索引作業時會拋出錯誤「Missing elastic.cluster and elastic.host ....」。我在nutch-site.xml文件中的plugin.includes下設置了indexer-solr。但仍然得到這些錯誤。有人可以

0熱度

1回答

如何使用Apache Nutch和Solr抓取磁鏈接，以便它們在Solr查詢結果中可用？

我讓自己熟悉Apache Nutch和Solr的抓取，但是意識到儘管HTTP和HTTPS鏈接可用於Solr查詢結果中，但content字段磁鏈接不是。我調整conf/regex-urlfilter.txt是 -^(file|ftp|mailto): # skip image and other suffixes we can't yet parse # for a more extensiv

0熱度

1回答

如何注入在爬到nutch種子列表中發現的網址

我已經在CentOS Linux版本7.3.1611上集成了nutch 1.13和solr-6.6.0我已經在/ usr/local/apache中給出了約10個urls的種子列表-nutch-1.13 /網址/ seed.txt我跟着tutorial 我使用的命令是 /usr/local/apache-nutch-1.13/bin/crawl -i -D solr.server.url = ht

0熱度

1回答

無法啓動Nutch爬行

我試圖在此之後在Ubuntu 14.04上部署Nutch 2.3 + ElasticSearch 1.4 + HBase 0.94 tutorial。當我嘗試啓動爬行注入的URL做： $NUTCH_ROOT/runtime/local/bin/nutch inject urls 我得到： InjectorJob: starting at 2017-10-12 19:27:48 Injecto

0熱度

1回答

帶Nutch的Apache Hadoop 2.7.4嘗試失敗，出於任何原因

我已經用2.3.1配置了Apache Hadoop 2.7.4，Hbase 1.2.6和Solr 6.6.1。我mapred-site.xml所有節點上是 <property> <name>mapreduce.jobtracker.address</name> <value>master:9001</value> </property> <property> <

2熱度

1回答

Solr使用Nutch Crawler索引

我使用Apache Nutch-1.13和solr 6.6.0版本。我運行下面的命令來抓取內容： bin/crawl -i -D solr.server.url=http://localhost:8983/solr/nutch urls/seed.txt TestCrawl 2 我得到這個異常： Indexer: java.io.IOException: Job failed! a

0熱度

1回答

在窗口上使用Nutch

我在使用Nutch抓取時遇到了一些問題。我跟着教程從here但錯誤： " /home/apache-nutch-2.3.1/runtime/local/bin/nutch inject urls/seed.txt -crawlId TestCrawl Failed with exit value 1. " 任何人都可以提供指導給我參考如何在窗口中正確使用Nutch的？

0熱度

1回答

Nutch的1.13獲取URL的失敗：org.apache.nutch.protocol.ProtocolNotFound：找不到URL = HTTP

取httpurl的協議失敗： org.apache.nutch.protocol.ProtocolNotFound：協議未找到對於 URL = HTTP在 org.apache.nutch.protocol.ProtocolFactory.getProtocol（ProtocolFactory.java:85）在org.apache.nutch.fetcher.FetcherThread.run