Lucene.NET和外部網站

Question

我們建立了一個使用Lucene.NET進行搜索的網站。我們最近整合了另一個網站，從而形成用戶的視角，這兩個網站似乎只是一個網站！ （我們共享主頁等）

我們遇到的問題是兩個網站託管在不同的位置。所以當Lucene.NET抓取第一個網站時，它不會選擇第二個網站的內容。我們希望從第二個網站中提取內容並將其放在爲第一個網站構建的同一索引文件中。

我怎樣才能讓Lucene.NET抓取外部網站呢？

感謝

Answer 1

如果你有文件系統訪問2系統比你可以通過提供路徑索引。如果沒有，你需要編寫一個爬蟲程序，你可以使用HttpWebRequest開始一些基本的事情，或者使用some tools來遞歸爬取使用鏈接等的站點，以獲得更多的發燒友。