websphinx

5熱度

6回答

如何抓取整個維基百科？

我試過WebSphinx應用程序。 我意識到如果我把wikipedia.org作爲起始URL，它將不會進一步爬行。 因此，如何實際抓取整個維基百科？任何人都可以給我一些指導嗎？我是否需要專門去查找這些網址並放置多個起始網址？ 任何人都有優秀網站的建議與WebSphinx的API的教程？

java web-crawler wikipedia websphinx 2010-02-22

---

0熱度

1回答

如何通過輸入用戶名和密碼，而網絡爬蟲正在抓取頁面

我已經下載websphinx做到這一點，但我需要它來問我的用戶名和密碼的網站，然後提交用戶名和密碼到網站和一次驗證它應該開始抓取內部鏈接和子鏈接，並將最終頁面的靜態數據保存到excel文件中。是否有其他方法或爬蟲可以做到這一點，但在Java中只有

java file-io web-crawler websphinx 2011-12-13

---

-2熱度

1回答

正則表達式對測試程序進行操作，但不能在WebSprinx crwaler

這裏是我的正則表達式匹配代碼工作了網頁： public class RegexTestHarness { public static void main(String[] args) { File aFile = new File("/home/darshan/Desktop/test.txt"); FileInputStream inFile = null;

java html regex websphinx 2011-09-07

---