Scrapy在什麼情況下拋出「連接已關閉乾淨」的錯誤？

在運行的網站上履帶，我收到以下錯誤消息大量的時間：Scrapy在什麼情況下拋出「連接已關閉乾淨」的錯誤？

<twisted.python.failure.Failure twisted.internet.error.ConnectionDone: Connection was closed cleanly.>

運行在不同的地點履帶時，我沒有得到這個錯誤，它的網頁試圖訪問我可以通過瀏覽器或通過curl達到。因此，我想知道什麼情況會導致這個錯誤出現？

爲了澄清，完整的錯誤是沿着線的東西：

2016-11-17 20:59:38 [scrapy] ERROR: Error downloading <GET http://www.peets.com/gifts/featured-gifts/holiday-gifts/sheng-puer-tea-50.html>: [<twisted.python.failure.Failure twisted.internet.error.ConnectionDone: Connection was closed cleanly.>]

有產生類似的錯誤很多不同的URL，同樣它並不總是失敗如果我運行多個倍。所以我不清楚什麼ConnectionDone: Connection was closed cleanly應該暗示什麼問題。

來源

2016-11-17 Nathaniel Ford

HTTP響應說什麼？ – Marcs

Scrapy不報告HTTP響應：它只說'錯誤：下載錯誤：:(錯誤上面）'。 –

如果您使用Windows，我會使用[Fiddler]（http://www.telerik.com/fiddler）來檢查發生了什麼。 – Marcs

今天我遇到同樣的error.I認爲這些網站有履帶預防後來我加

USER_AGENT = 'Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0'

settings.py中解決錯誤。

來源

2017-05-17 07:53:11 theqwang

Scrapy在什麼情況下拋出「連接已關閉乾淨」的錯誤？

回答

相關問題