18
我正在爲我的大學項目下載完整的維基百科文本。我是否必須編寫自己的蜘蛛來下載這個文件，或者網上有維基百科的公開數據集嗎？維基百科文本下載
爲了給大家介紹一下我的項目，我想了解一些我感興趣的文章的有趣詞彙。但是爲了找到這些有趣的詞，我打算使用tf/idf來計算詞頻每個單詞並挑選出高頻率的單詞。但要計算tf，我需要知道整個維基百科的總髮生率。
這怎麼辦？
Q
維基百科文本下載
A
回答
20
從維基百科：http://en.wikipedia.org/wiki/Wikipedia_database
維基百科提供了所有可用的內容感興趣的用戶的免費副本。這些數據庫可用於鏡像，個人使用，非正式備份，脫機使用或數據庫查詢（如維基百科：維護）。所有文本內容均在Creative Commons Attribution-ShareAlike 3.0許可證（CC-BY-SA）和GNU自由文檔許可證（GFDL）下進行多重許可。圖片和其他文件可以按照不同的條款提供，詳情請參閱其說明頁面。有關遵守這些許可證的建議，請參閱維基百科：版權。
看起來你也很幸運。從轉儲部分：
截至2010年3月12日，英文版的維基百科可以在http://download.wikimedia.org/enwiki/20100130/發現這是自2008年以來 已經創建了英語維基百科的第一個完整的轉儲的最新完整轉儲請注意，最近的轉儲（例如20100312轉儲）不完整。
所以數據只有9天:)
1
1
3
考慮到轉儲的大小，你可能會得到更好的使用英語的詞頻服務，或者使用MediaWiki API隨機輪詢頁面（或諮詢最多的頁面）。有框架可以基於這個API（Ruby，C＃，...）來構建機器人，它可以幫助你。
9
如果你需要一個純文本格式，而不是一個Mediawiki的XML，那麼你可以在這裏下載： http://kopiwiki.dsd.sztaki.hu/
相關問題
- 1. 從維基百科下載pdf文件
- 2. 維基百科刪除日誌下載
- 3. 腳本從維基百科
- 4. 從維基百科加載30000文檔
- 5. 維基百科：Java庫刪除維基百科文本標記刪除
- 6. 從維基百科取代文本
- 7. 維基百科API
- 8. 基本的BeautifulSoup維基百科刮
- 9. 下載所有維基百科圖片的文件
- 10. 使用特殊輸出從維基百科下載文章
- 11. 從維基百科獲取維基百科主題標題
- 12. Perl不加載維基百科頁面？
- 13. 從維基百科加載表到R
- 14. PHP +維基百科：從維基百科文章的第一段獲取內容？
- 15. 維基百科出口API版本
- 16. API爲維基百科的
- 17. wikitools，維基百科和python
- 18. 尋找從維基百科
- 19. 維基百科與Python
- 20. 解析XML維基百科
- 21. 解析維基百科類
- 22. 維基百科人物API
- 23. 維基百科第一段
- 24. 提取維基百科
- 25. 維基百科web框架？
- 26. 維基百科的JAVA API
- 27. 維基百科解析器
- 28. 訪問維基百科webservices
- 29. lucene維基百科查詢
- 30. 迭代維基百科
雖然我已經回答了你的問題，簡單地指出，谷歌有你的答案是不可取的，如果你使用'下載完整的維基百科文字'的鏈接是第一次打。我這樣說，希望它能幫助你改進你的google-fu。 – 2010-04-21 14:04:57
@Sams Holder只想確認。這是下載所有頁面的正確鏈接-http：//dumps.wikimedia.org/enwiki/latest/enwiki-latest-pages-articles.xml.bz2 – Boolean 2010-04-21 14:27:22
是的，這似乎是所有當前網頁，可能是什麼你想，雖然不知道確切難以說肯定 – 2010-04-21 16:50:17