grequests

-1熱度

1回答

requests + grequests：是否「連接池已滿，丟棄連接：」警告有關？

我在localhost上託管一臺服務器，我想異步發送數百個GET請求。爲此，我正在使用grequests。一切似乎向做工精細，但我多次得到警告：警告：requests.packages.urllib3.connectionpool：連接池已滿，丟棄連接：date.jsontest.com 一搜索顯示如何在requests中創建Session()時避免完整池問題here。然而，幾件事情： 1）即使

0熱度

1回答

在Grequests任務中添加進度反饋

我遵循grequests usage example，但我試圖添加一些進度反饋。已完成請求的百分比。我怎麼能做到這一點？ import grequests urls = [ 'http://www.heroku.com', 'http://python-tablib.org', 'http://httpbin.org', 'http://python-r

-1熱度

1回答

Scrapy節流和請求調度只有微服務

我目前正在使用python請求下載大約20,000頁的json。由於我正在抓取服務器的速率限制，我正陷入瓶頸，也許缺少異步調用/調度。我認爲scrapy會是一個很好的解決方案，因爲我聽說它具有解決與刮擦相關的問題的功能。事情是，那些是我需要的唯一部分，我不需要spidering/parsing/orm /等。看看這些文檔，我不清楚如何分離出這些組件。我需要一個微服務來處理scrapy所做的這些部分

0熱度

1回答

通過grequests調用函數

我知道有很多關於grequests的帖子，比如Asynchronous Requests with Python requests ，它描述了grequests的基本用法，以及如何通過grequests.get()發送鉤子。我從這個鏈接中提取了這段代碼。 import grequests urls = [ 'http://python-requests.org', 'htt

3熱度

1回答

獲取AttributeError的同時，進口grequests在Python 3.4

我一直在嘗試使用grequests在我的Python項目asyncronous HTTP請求，但我得到了一個AttribteError並一直在尋找了幾個小時的解決方案。這裏是我的測試代碼： import grequests urls = ['htt://google.com', 'http://yahoo.com', 'http://bing.com'] unsent_request =

1熱度

1回答

每秒發送更多than1000請求在python

我試圖同時發送請求到服務器，然後使用此代碼記錄的平均等待時間： import Queue import time import threading import urllib2 data = "{"image_1":"abc/xyz.jpg"}" headers = {.....} def get_url(q, url): num = 1 sum = 0

3熱度

1回答

多個HTTP GET和POST

的任務是：我目前正在做這通過請求庫 1)send an http get to url based on a parameter 2)Modify the response based on the same parameter 3)send an http post to url based on the same parameter ，但它需要大量的時間做這一個接一個，它可高達20,0

7熱度

2回答

無法爲AWS Lambda導入grequests

我正在運行帶有Python 2.7運行時的AWS Lambda腳本。然而，每當它初始化開始導入grequests庫，但失敗，因爲它是在GEVENT依賴性： Gevent is required for grequests. 看來它成功找到grequests庫（因爲它知道它需要GEVENT），但失敗。我試過到目前爲止： pip install --ignore-installed grequest

2熱度

2回答

如何捕捉503錯誤並重試請求

我使用grequests進行了大約10,000次調用，但其中一些調用返回爲503。如果我不一次排列所有10,000個呼叫，則此問題消失。把它分成1000個小組似乎是個訣竅。然而，我想知道是否有辦法趕上這503錯誤，只是重試request。這是我如何我打電話，並結合線程： import grequests rs = (grequests.get(u, headers=header) for u

0熱度

1回答

完全禁用grequests日誌記錄

如何禁止我從grequests得到的以下調試錯誤消息？ Traceback (most recent call last): File "/usr/local/lib/python2.7/dist-packages/gevent/greenlet.py", line 327, in run result = self._run(*self.args, **self.kwargs