php cURL會佔用內存或處理器的電量嗎？

Question

我目前有一個使用PHP cURL每分鐘同時下載數百頁的刮板腳本。

我有它設置，以便有一個主服務器和一些遠程服務器下載使用PHP捲曲頁面和使用遠程MySQL連接（然後將數據保存在主服務器發送回數據）。

我正試圖優化和降低這些服務器的成本;所以我應該水平或垂直縮放？我應該尋找更多的RAM還是處理器能力？

任何幫助表示讚賞。

Answer 1

您應該添加網絡電源。 RAM僅用於託管正在運行的進程，並且CPU僅用於觸發網絡連接。

請注意，網站不喜歡被請求淹沒。這通常被認爲是攻擊，他們可能會阻止你。因此，保持安全，成爲一名好的網絡公民，儘可能不要竭盡全力。一個好的蜘蛛概念會盡可能多地詢問不同的主機，但只爲每個主機使用一個或兩個請求。