£顯示在urllib2和美麗的湯

Question

我想在python中寫一個小型web刮板，我想我遇到了一個編碼問題。我想刮（在頁面上專門的表格）http://www.resident-music.com/tickets - 一個行可能是這個樣子 -

<tr> 
     <td style="width:64.9%;height:11px;"> 
     <p><strong>the great escape 2017&nbsp; local early bird tickets, selling fast</strong></p> 
     </td> 
     <td style="width:13.1%;height:11px;"> 
     <p><strong>18<sup>th</sup>&ndash; 20<sup>th</sup> may</strong></p> 
     </td> 
     <td style="width:15.42%;height:11px;"> 
     <p><strong>various</strong></p> 
     </td> 
     <td style="width:6.58%;height:11px;"> 
     <p><strong>&pound;55.00</strong></p> 
     </td> 
     </tr> 

我基本上是試圖用£55，以取代£55.00，和其他任何「非文字'髒話。

我已經嘗試了幾種不同的編碼方式，你可以用beautifulsoup和urllib2去 - 無濟於事，我想我只是做了一切錯誤。

感謝

Answer 1

你想UNESCAPE的HTML，你可以做使用html.unescape在python3：

In [14]: from html import unescape 

In [15]: h = """<tr> 
    ....:   <td style="width:64.9%;height:11px;"> 
    ....:   <p><strong>the great escape 2017&nbsp; local early bird tickets, selling fast</strong></p> 
    ....:   </td> 
    ....:   <td style="width:13.1%;height:11px;"> 
    ....:   <p><strong>18<sup>th</sup>&ndash; 20<sup>th</sup> may</strong></p> 
    ....:   </td> 
    ....:   <td style="width:15.42%;height:11px;"> 
    ....:   <p><strong>various</strong></p> 
    ....:   </td> 
    ....:   <td style="width:6.58%;height:11px;"> 
    ....:   <p><strong>&pound;55.00</strong></p> 
    ....:   </td> 
    ....:  </tr>""" 

In [16]: 

In [16]: print(unescape(h)) 
<tr> 
     <td style="width:64.9%;height:11px;"> 
     <p><strong>the great escape 2017  local early bird tickets, selling fast</strong></p> 
     </td> 
     <td style="width:13.1%;height:11px;"> 
     <p><strong>18<sup>th</sup>– 20<sup>th</sup> may</strong></p> 
     </td> 
     <td style="width:15.42%;height:11px;"> 
     <p><strong>various</strong></p> 
     </td> 
     <td style="width:6.58%;height:11px;"> 
     <p><strong>£55.00</strong></p> 
     </td> 
     </tr> 

對於python2使用：

In [6]: from html.parser import HTMLParser 

In [7]: unescape = HTMLParser().unescape 

In [8]: print(unescape(h)) 
<tr> 
     <td style="width:64.9%;height:11px;"> 
     <p><strong>the great escape 2017  local early bird tickets, selling fast</strong></p> 
     </td> 
     <td style="width:13.1%;height:11px;"> 
     <p><strong>18<sup>th</sup>– 20<sup>th</sup> may</strong></p> 
     </td> 
     <td style="width:15.42%;height:11px;"> 
     <p><strong>various</strong></p> 
     </td> 
     <td style="width:6.58%;height:11px;"> 
     <p><strong>£55.00</strong></p> 
     </td> 

你可以同時看到正確UNESCAPE所有實體不只是英鎊符號。

Answer 2

我用requests這個但希望你能做到這一點用也urllib2。所以這是代碼：

#!/usr/bin/env python 
# -*- coding: utf-8 -*- 

import requests 
from BeautifulSoup import BeautifulSoup 

soup = BeautifulSoup(requests.get('your_url').text) 
chart = soup.findAll(name='tr') 
print str(chart).replace('£',unichr(163)) #replace '£' with '£' 

現在你應該採取預期的輸出！

輸出示例：

... 
<strong>£71.50</strong></p> 
... 

反正關於解析你可以用很多方法去做，什麼是有趣這裏是：print str(chart).replace('£',unichr(163))這是相當具有挑戰性:)

更新

如果你想逃離多個（甚至一個）字符（如破折號，磅等），對你來說會更容易/更有效率在Padraic的回答中使用parser。有時你也會閱讀他們處理的評論和其他編碼問題。