在MapReduce mapper/reducer函數中使用裝飾器？

Question

我試圖總結我的映射器/減速功能的東西，如：

def log_exceptions_to_sentry(sentry_id, raise_exception): 
    def decorator(fn): 
     def wrapper(*args, **kwargs): 
      try: 
       return fn(*args, **kwargs) 
      except Exception, e: 
       client = Client(sentry_id) 
       client.captureException(
        exc_info=sys.exc_info()) 
       if raise_exception: 
        raise e 
     return wrapper 
    return decorator 

所以我的映射器/減速功能樣子：

@log_exceptions_to_sentry(SENTRY_ID, False) 
def my_mapper_fn(item): 
    logging.info(item) 

但它似乎並沒有工作。沒有裝飾者，我會發現INFO日誌item。但是，如果我把裝飾器，似乎映射器/減速器功能根本不會被調用。

我希望能夠輕鬆記錄我的函數可能有的任何錯誤，所以我可以修復它們，因爲試圖通過AppEngine的日誌追蹤MapReduce幾乎是不可能的。

我可以用try ... except塊封裝整個函數體，但是裝飾器會更乾淨。

Answer 1

我相信你有一個裝飾器結構的問題。在partuclar，我想你想與

try: 
    fn(*args, **kwargs) 

我錯過了一些功能來測試它來取代

try: 
    return fn(*args, **kwargs) 

，但你可以在這裏看到的簡化裝飾的例子，如果你想運行一個：http://simeonfranklin.com/blog/2012/jul/1/python-decorators-in-12-steps/

嘗試這樣的事情，以確保您的代碼工作，然後嘗試後更復雜的參數化版本：

sentry_id = id 
raise_exception = 1 

def basic_decorator(function): 
    global sentry_id, raise_exception 
    def wrapper(*args,**kwargs): 
     try: 
      function(*args,**kwargs) 
     except Exception, e: 
      client = Client(sentry_id) 
      client.captureException(exc_info=sys.exc_info()) 
      if raise_exception: 
       raise 
    return wrapper 

@basic_decorator 
def my_mapper_fn(item): 
    logging.info(item) 

要參數化sentry_id和raise_exception，請將裝飾器包裝在另一個裝飾器中。這個想法是，當定義基本裝飾器時，將提前定義sentry_id,raise_exception和function，並將其包含在其範圍內。這應該是這個樣子

def log_exceptions_to_sentry(sentry_id,raise_exception=1): 
    def basic_decorator(function): 
     def wrapper(*args, **kwargs): 
      try: 
       function(*args,**kwargs) 
      except Exception, e: 
       client = Client(sentry_id) 
       client.captureException(exc_info=sys.exc_info()) 
       if raise_exception: 
        raise 

     return wrapper 
    return basic_decorator 

@log_exceptions_to_sentry(SENTRY_ID,RAISE_EXCEPTION) 
def my_mapper_fn(item): 
    logging.info(item) 

Answer 2

我不知道是什麼SENTRY_ID或Client是，因爲你沒有張貼。所以我做了我自己的。確切地使用你的代碼，一切似乎按預期工作。我不確定你所看到的是不正確的。

SENTRY_ID = 1 
class Client(object): 
    def __init__(self, sentry_id): pass 
    def captureException(self, **kwargs): 
     print('captureException, ', kwargs['exc_info']) 

def log_exceptions_to_sentry(sentry_id, raise_exception): 
    def decorator(fn): 
     def wrapper(*args, **kwargs): 
      try: 
       return fn(*args, **kwargs) 
      except Exception as e: 
       client = Client(sentry_id) 
       client.captureException(
        exc_info=sys.exc_info()) 
       if raise_exception: 
        raise e 
     return wrapper 
    return decorator 

def fn(item): 
    logging.debug(item) 
    logging.info(item) 
    logging.error(item) 

@log_exceptions_to_sentry(SENTRY_ID, False) 
def my_mapper_fn(item): 
    logging.debug(item) 
    logging.info(item) 
    logging.error(item) 
    return 1 

@log_exceptions_to_sentry(SENTRY_ID, False) 
def my_mapper_fn2(item): 
    raise Exception() 

logging.basicConfig(
    level = logging.INFO, 
    format = '%(levelname)s:%(name)s:%(message)s', 
    #format = '%(message)s', 
) 

x = fn({'a':1}) 
print(x) 
x = my_mapper_fn({'b':2}) 
print(x) 
x = my_mapper_fn2({'c':3}) 
print(x) 

輸出：

INFO:root:{'a': 1} 
ERROR:root:{'a': 1} 
None 
INFO:root:{'b': 2} 
ERROR:root:{'b': 2} 
1 
captureException, (<type 'exceptions.Exception'>, Exception(), <traceback object at 0x1813cf8>) 
None