0
我使用urllib3通過HTTP數千次(特別是超過40,000)一個接一個地查詢在線API。
我注意到,在開始時,來自API的HTTP GET非常快(< 500ms)。
隨着越來越多的HTTP請求被製作,響應時間減慢到幾秒鐘。urllib3連接管理
我的代碼如下所示:
http = urllib3.PoolManager()
req = http.request(u'GET', URL)
doc = xml.dom.minidom.parseString(req.data)
nodes = doc.getElementsByTagName(ELEMENT_NAME)
for node in nodes:
#process the node, this happens very very fast.
我失去了什麼?謝謝!
我真的不這麼認爲,因爲我之前使用它來加載大量的數據,但它很好... – user1094786 2012-01-10 04:51:40
爲什麼它的價值,我想不出爲什麼urllib3會負責這些症狀。也許嘗試與另一個庫相同的東西? – shazow 2012-01-17 21:01:29