Proxymesh代理返回408狀態代碼

Question

我正在使用proxymesh代理來檢索不同的網站。它突然開始發送狀態408

這裏是日誌，

Retrying <GET http://www.toysrus.com/product/index.jsp?productId=23046326&cp=&parentPage=search> (failed 1 times): 408 Request Time-out 

任何解決方案將高度讚賞。

Answer 1

我還沒有真正使用proxymesh自己，但有一些事情你應該做的：

1. 你需要確認它是不是網站的問題，所以要到現場檢查它也會返回408狀態（或者剛剛被關閉）。

2. 該網站（和proxymesh）實際上可能需要更多時間來完成請求，根據proxymesh documentation可以通過發送X-ProxyMesh-Timeout標頭來增加該請求。

3. 檢查proxymesh是否在響應或標題中返回更多信息（不僅僅是408狀態）。如果您正在使用scrapy，請檢查Retrying settings，您可以使用errback方法處理不良狀態。