網站挖掘工具

Question

這裏提出的許多問題都與我正在做的研究有關。這些問題和答案分佈廣泛，並不總是很容易找到，做手動瀏覽，有時在無關的主題中也會出現有見地的答案或評論。

我想自動找到這些相關的Q's & A，根據關鍵詞集合，然後使用這些信息作爲進一步深入研究的指針。

我可以使用哪些工具，最好是開源的，可以用於這種類型的網站挖掘？我不是一個web大師&我嘗試開發他們需要很長的時間，並在時間，我可以在我的[R花& D.

影響

Answer 1

從你的問題來看，你是否是程序員並不清楚，所以我不確定你是否在應用程序或服務的意義上使用了你想要的工具，或者庫，使網站挖掘更容易。

如果後者是這種情況，你使用紅寶石，我可以徹底推薦WWW::Mechanize。它提供了一個很好的API用於編寫腳本來搜索網頁（通過DOM或文本），跟隨鏈接並填寫表單。我已經多次使用它來組織在網站內的多個網頁上傳播的信息。

我相信紅寶石版本是基於早期的library for perl，但我不能擔保perl版本，我沒有使用它。

Answer 2

人類互動的工具可能是在這種情況下有用的（沒有發展成本，可能是更一致的結果，以及不斷變化的要求）。

夫婦想到：

• Mechanical Turk。
• Time Svr（更貴） - experiment/review。

Answer 3

所有基於關鍵字的標籤都附有RSS源，所以我會先訂閱相關關鍵字並搜索數據。這似乎是找到相關概念和其他相關關鍵字的最簡單方法。

Answer 4

另一種選擇是使用Yahoo! Pipes。 （demo）

您可以使用供稿網址，過濾器等的組合來在線可視化地構建這樣的系統...與編程相比，學習時間是最小的。 [編輯：時態]