2011-02-02 76 views
2

我在PHP中使用多捲曲連接到執行下列操作站點的腳本:捲曲腳本在PHP或Python,Perl的

  1. 登錄該網站
  2. 得到一個頁面
  3. 驗證頁面內容
  4. 如果內容是我所需要的我做的5.
  5. 向網站發佈一些數據。
  6. 註銷。

我的腳本可以登錄到並行< 20個站點,但不會太快,並使用大量的服務器資源。

我可以將腳本轉換爲Python或其他語言以使其更快嗎? 我不知道是否有可能使用Firefox等瀏覽器發送命令並獲取內容? 例子:

system("firefox http://stackoverflow.com/users/login"); 
system("firefox post-data:username=stack&password=some"); 
system("firefox getcontent > mypage.html"); 

它可能看起來瘋狂的解決方案:)但是我需要提高PHP腳本的性能。

非常感謝你, 阿德里安

回答

1

對於Python,嘗試使用Mechanize

+0

感謝您的幫助。我想我可以使用另一臺服務器遠程連接到這些站點,並將結果發送到服務器1.我認爲這會減少主服務器的服務器負載。 – varu 2011-02-05 14:31:52

2

我想像它有少做的語言,更多的是與等待HTTP請求。這聽起來不像你正在做任何會導致PHP成爲瓶頸的事情。

我會從測試HTTP請求花費的時間開始。我敢打賭這就是你的瓶頸所在。