WWW :: Mechanize :: Firefox在高流量的網站

Question

我有一個網站，我想用戶輸入一個搜索詞，然後刮兩個其他網站，並顯示用戶一些解析結果。

由於兩個網站都使用大量JavaScript來返回數據，因此我想使用WWW::Mechanize::Firefox。

是否可以運行多個同時使用WWW::Mechanize::Firefox的腳本實例？

Answer 1

是的，有可能做你描述的事情;但互聯網不是一個數據庫。

您是否要求獲得您希望使用的網站所有者的許可？我當然不會同意無限制地使用我的帶寬和第三方網站的內容。

這將是一個更負責任（更容易實施）的系統，通過協議，您可以每天收集一次您需要的信息並將其存儲在數據庫中。此後，您可以顯示自己的用戶直接從您自己的資源中請求的信息。