AppEngine上的網址抓取，如何強制超時被尊重

Question

我使用的URLFetch從谷歌AppEngine上，我添加了最後期限參數，以強制期限要短（3秒），如下所示：

try: 
    urlfetch.set_default_fetch_deadline(3) 
    return urlfetch.fetch(url='http://www.example.com', method=urlfetch.GET, deadline=3) 
except google.appengine.runtime.apiproxy_errors.DeadlineExceededError: 
    pass 
except google.appengine.api.urlfetch_errors.DeadlineExceededError: 
    pass 

return None 

但無論如何，我的線程持續60秒（Appengine上的http請求的最大執行時間），然後在DeadlineException（「線程在請求​​後運行」）失敗。

有沒有辦法確保上面的查詢將在3秒內嚴格停止？

Answer 1

我可以分享我目前在我的一個生產項目中運行的一些代碼。在這個例子中，我使用了0.5秒的截止日期。上次我檢查，它仍然工作：

t_rpc = urlfetch.create_rpc(deadline=0.5) 
urlfetch.make_fetch_call(t_rpc, url) 
# and then later... 
try: 
    result = t_rpc.get_result() 
except: 
    # handle errors... 
    pass 

# use the result... 

這實際上是使用API​​的異步版本，因此您可以在技術上在呼喚make_fetch_call和get_result之間做的事情。否則，你可以連續調用它們，它的功能與同步API相同。