我應該在屏幕抓取時使用Keep-Alive嗎？

2011-07-14 29 views 3 likes

建議在屏幕抓取時使用持久連接嗎？什麼是可能的優點/缺點？我應該在屏幕抓取時使用Keep-Alive嗎？

我正在使用PHP/cURL進行刮擦。

2011-07-14 babonk

回答

它不會有太大的區別。你需要做出的真正的性能決定是同時抓取。因爲，持久與否，一個連接一次只能處理1個請求/響應。

這讓我想起我的下一個點：我使用PHP /捲曲刮

。

PHP可能是這項工作的錯誤工具。併發性不是很好。或者，至少，默認版本不是。

2011-07-14 02:23:36 Matt

'PHP可能是這項工作的錯誤工具。「 - >爲什麼？對於某些事情，這將是完全正確的。瞭解您認爲哪些情況會導致不良情況以及爲什麼會有所幫助，這將有所幫助。 – Nicole

@Renesis大多數情況下我看過的屏幕抓圖不需要在運行時完成。有很少的用例應該通過從Web應用程序層退出來阻止響應。 – Matt

這種情況確實需要在運行時完成，因爲它的實時數據。我們正在使用multi_curl在可能的情況下進行併發抓取。 – babonk

相關問題