PHPCrawl有時會返回空手

Question

我使用PHPCrawl類蜘蛛網站，並建立一個鏈接列表。如果速度緩慢，它一切正常，然後我使用鏈接執行其他任務。

我遇到了一個問題，第一次運行腳本時它完成了沒有結果，然後下一次運行它時，它按預期工作。大約有30％的時間沒有通過。

起初我以爲這是一個網絡或工作站問題，但同一個問題發生在使用不同ISP的不同位置的不同機器上。

有其他人使用這個類和遇到同樣的問題？

Answer 1

經過廣泛的測試，我發現，它似乎是相關streamTimeout設置。

的這裏的問題是，將它設置得太高導致非常緩慢爬行。修補connectionTimeout似乎調解了這一點。