如何抓取整個維基百科？

Question

我試過WebSphinx應用程序。

我意識到如果我把wikipedia.org作爲起始URL，它將不會進一步爬行。

因此，如何實際抓取整個維基百科？任何人都可以給我一些指導嗎？我是否需要專門去查找這些網址並放置多個起始網址？

任何人都有優秀網站的建議與WebSphinx的API的教程？

Answer 1

如果您的目標是抓取所有維基百科，您可能需要查看可用的數據庫轉儲。見http://download.wikimedia.org/。

Answer 2

您可能需要從隨機文章開始，然後抓取所有可以從該文章開始的文章。當搜索樹已經用盡時，從一個新的隨機文章開始。您可以用您認爲會導致大多數文章的術語對您的搜索進行種子處理，或者從首頁上的特色文章開始。

另一個問題：爲什麼WebSphinx沒有進一步抓取？維基百科將殭屍程序標識爲「WebSphinx」嗎？

Answer 3

我不知道，但也許WEbSphinx的用戶代理是由維基百科的robots.txt

http://en.wikipedia.org/robots.txt

Answer 4

除了使用上面提到的維基百科數據庫轉儲，您可以使用維基百科的API來執行查詢受阻，這樣的作爲檢索100個隨機文章。

http://www.mediawiki.org/wiki/API:Query_-Lists#random.2F_rn

Answer 5

我想你不能選擇，所需的配置。切換到高級，抓取子域，不限制頁面大小和時間。

然而，WebSphinx可能無法抓取整個維基百科，它具有更大的數據減慢並最終停止近200MB的內存使用。我建議你Nutch，Heritrix和Crawler4j。

Answer 6

看看dbpedia，維基百科的結構化版本。