顯式開關（）與gevent

Question

我有一個基本的生產者/消費者腳本在gevent中運行。它開始是把東西放到一個gevent.queue.Queue幾個生產函數，而取出來再排隊的一個消費函數：

from __future__ import print_function 

import time 

import gevent 
import gevent.queue 
import gevent.monkey 

q = gevent.queue.Queue() 

# define and spawn a consumer 
def consumer(): 
    while True: 
     item = q.get(block=True) 
     print('consumer got {}'.format(item)) 

consumer_greenlet = gevent.spawn(consumer) 

# define and spawn a few producers 
def producer(ID): 
    while True: 
     print("producer {} about to put".format(ID)) 
     q.put('something from {}'.format(ID)) 
     time.sleep(0.1) 
#  consumer_greenlet.switch()  

producer_greenlets = [gevent.spawn(producer, i) for i in range(5)] 

# wait indefinitely 
gevent.monkey.patch_all() 
print("about to join") 
consumer_greenlet.join() 

，如果我讓GEVENT隱式處理調度它工作正常（例如，通過呼叫時間。睡眠或其他一些gevent.monkey.patch()編輯功能），但是當我切換到消費者明確（更換time.sleep與註釋掉switch調用），GEVENT提出了一個AssertionError：

Traceback (most recent call last): 
    File "/my/virtualenvs/venv/local/lib/python2.7/site-packages/gevent/greenlet.py", line 327, in run 
    result = self._run(*self.args, **self.kwargs) 
    File "switch_test.py", line 14, in consumer 
    item = q.get(block=True) 
    File "/my/virtualenvs/venv/lib/python2.7/site-packages/gevent/queue.py", line 201, in get 
    assert result is waiter, 'Invalid switch into Queue.get: %r' % (result,) 
AssertionError: Invalid switch into Queue.get:() 
<Greenlet at 0x7fde6fa6c870: consumer> failed with AssertionError 

我想聘請明確的開關，因爲在生產我有很多刺激用戶，gevent的調度不會爲消費者分配足夠的運行時，並且隊列變得越來越長（這很糟糕）。另外，任何有關如何配置或修改gevent的調度程序的見解都非常感謝。

這是關於Python 2.7.2，gevent 1.0.1和greenlet 0.4.5的。

Answer 1

似乎對我來說，顯式切換並不能很好地與隱式切換配合使用。 您已經有隱式開關發生，因爲猴子補丁I/O或gevent.queue.Queue()。

該GEVENT文檔阻礙的原始greenlet方法的使用：

Being a greenlet subclass, Greenlet also has switch() and throw() methods. However, these should not be used at the application level as they can very easily lead to greenlets that are forever unscheduled. Prefer higher-level safe classes, like Event and Queue, instead.

迭代gevent.queue.Queue()或訪問隊列的get方法不執行隱式切換，有趣的是put沒有。所以你必須自己產生一個隱式線程切換。最簡單的就是撥打gevent.sleep(0)（你不必真的等待特定的時間）。

總之，你甚至不需要猴子的東西，提供你的代碼沒有阻止IO操作。

我會重寫你的代碼是這樣的：

import gevent 
import gevent.queue 

q = gevent.queue.Queue() 

# define and spawn a consumer 
def consumer(): 
    for item in q: 
     print('consumer got {}'.format(item)) 

consumer_greenlet = gevent.spawn(consumer) 

# define and spawn a few producers 
def producer(ID): 
    print('producer started', ID) 
    while True: 
     print("producer {} about to put".format(ID)) 
     q.put('something from {}'.format(ID)) 
     gevent.sleep(0) 

producer_greenlets = [gevent.spawn(producer, i) for i in range(5)] 
# wait indefinitely 
print("about to join") 
consumer_greenlet.join()