Nutch 1.10 - 不會抓取同一頂級域名上的超過100個子域名

Nutch 1.10;有一個默認設置可將單個TLD上的子域名數限制爲100.有人可以告訴我如何覆蓋此默認值嗎？Nutch 1.10 - 不會抓取同一頂級域名上的超過100個子域名

我曾嘗試在Nutch的-site.xml中以下沒有成功：

<property> 
    <name>generate.max.per.host</name> 
    <value>300</value> 
</property>enter code here

2016-03-31 rscavilla

有在Nutch的子域的數量沒有限制。是什麼讓你這麼想的？你如何發現子域名？

如果它們是單個頁面的鏈接，那麼限制你的是'db.max.outlinks.per.page'（默認爲100）。這限制了任何outlinks，無論子域

2016-04-01 11:05:40

謝謝朱利安 - 問題實際上並不是nutch限於頂級域名的子域數量。我認爲這是因爲我運行了一個方面查詢，只有100個結果返回。這是由於我沒有意識到100個結果的facet.limit上的默認值。我將它設置爲-1並獲得了返回的所有結果。 – rscavilla

回答