如何通過網址抓取（python）捕獲所有可能的錯誤？

Question

在我的應用程序中，用戶輸入一個URL，然後嘗試打開鏈接並獲取頁面標題。但是我意識到可能存在許多不同類型的錯誤，包括標題中的unicode字符或換行符，以及AttributeError和IOError。我第一次嘗試捕捉每個錯誤，但現在如果出現url提取錯誤，我想重定向到用戶將手動輸入標題的錯誤頁面。我如何捕獲所有可能的錯誤？這是我現在的代碼：

title = "title" 

    try: 

     soup = BeautifulSoup.BeautifulSoup(urllib.urlopen(url)) 
     title = str(soup.html.head.title.string) 

     if title == "404 Not Found": 
      self.redirect("/urlparseerror") 
     elif title == "403 - Forbidden": 
      self.redirect("/urlparseerror")  
     else: 
      title = str(soup.html.head.title.string).lstrip("\r\n").rstrip("\r\n") 

    except UnicodeDecodeError:  
     self.redirect("/urlparseerror?error=UnicodeDecodeError") 

    except AttributeError:   
     self.redirect("/urlparseerror?error=AttributeError") 

    #https url:  
    except IOError:   
     self.redirect("/urlparseerror?error=IOError") 


    #I tried this else clause to catch any other error 
    #but it does not work 
    #this is executed when none of the errors above is true: 
    # 
    #else: 
    # self.redirect("/urlparseerror?error=some-unknown-error-caught-by-else") 

UPDATE

正如我說try...except一邊寫title到數據庫中的意見建議由@Wooble：

 try: 
      new_item = Main(
         .... 
         title = unicode(title, "utf-8")) 

      new_item.put() 

     except UnicodeDecodeError:  

      self.redirect("/urlparseerror?error=UnicodeDecodeError") 

這工作。儘管外的範圍內的字符â€」仍處於title根據日誌記錄信息：

***title: 7.2. re â€」 Regular expression operations — Python v2.7.1 documentation** 

你知道爲什麼嗎？

Answer 1

您可以使用except，但不指定任何類型來捕獲所有異常。

從python文檔http://docs.python.org/tutorial/errors.html：（即一個例外是IO錯誤或ValueError異常的不）

import sys 

try: 
    f = open('myfile.txt') 
    s = f.readline() 
    i = int(s.strip()) 
except IOError as (errno, strerror): 
    print "I/O error({0}): {1}".format(errno, strerror) 
except ValueError: 
    print "Could not convert data to an integer." 
except: 
    print "Unexpected error:", sys.exc_info()[0] 
    raise 

最後除了將趕上以前尚未抓到任何異常

Answer 2

您可以使用頂級異常類型Exception，它會捕獲之前沒有捕獲到的任何異常。

http://docs.python.org/library/exceptions.html#exception-hierarchy

try: 

    soup = BeautifulSoup.BeautifulSoup(urllib.urlopen(url)) 
    title = str(soup.html.head.title.string) 

    if title == "404 Not Found": 
     self.redirect("/urlparseerror") 
    elif title == "403 - Forbidden": 
     self.redirect("/urlparseerror")  
    else: 
     title = str(soup.html.head.title.string).lstrip("\r\n").rstrip("\r\n") 

except UnicodeDecodeError:  
    self.redirect("/urlparseerror?error=UnicodeDecodeError") 

except AttributeError:   
    self.redirect("/urlparseerror?error=AttributeError") 

#https url:  
except IOError:   
    self.redirect("/urlparseerror?error=IOError") 

except Exception, ex: 
    print "Exception caught: %s" % ex.__class__.__name__