在抓取時隨機獲取HTTP 400錯誤

Question

我的抓取程序通常有效，但偶爾會從服務器獲取HTTP 400錯誤。沒有持久的節流效果;它在400反應後立即回到工作狀態。我估計我得到的答案約爲1/5000是400，而其餘的則是成功（200's）。可能會發生什麼..我可以做什麼來消除這些錯誤？

Answer 1

HTTP 400是不好的請求。

請求中有一些東西是服務器正在做出反應。它不會影響任何其他請求。

這是一個典型的原因是特殊字符是一個字符串。

解決此問題的最佳方法是找到根本原因，如果在您的環境中可能，請嘗試記錄所有請求。