PHP網絡爬蟲休息時間，用完了時間限制？

Question

我正在編寫一個PHP Web應用程序來對多個（實際上是一長串）Facebook頁面進行統計。我設置抓取工具來每天從Facebook獲取所有頁面的數據，因此數據總是在本地數據庫中更新。

問題是，有時抓取工具意外中斷。我猜測的原因是： 1）耗盡服務器的時間限制 2）等待數據太長而沒有任何響應並被殺死

你有什麼建議可以解決這個問題嗎？非常感謝！！

Answer 1

您應該首先增加php.ini中的max_execution_time變量。看看是否能解決你的問題。如果問題出在Facebook或其他任何不受您控制的網絡服務器上，那麼您可以做的事情就不多了。

*免責聲明：這是所有假設你的代碼是有效的，在某些場合無限循環沒有找到自己......

Answer 2

嘗試添加

set_time_limit (0); 

在腳本的開始。