scrapy不解析某些網址字符

我有這個字符串標籤的href -scrapy不解析某些網址字符

member.php?mode=&amp;g=user&start=100

現在我BeautifulSoup是解析它 -

memberlist.php?mode=&g=user&start=100

未得到所需要的頁面 -

這是什麼&，我該如何解決這個問題

來源

2012-12-14 user1858027

就這麼represe特殊字符串與＆符號字符即「&」。

編輯：我只是想從你的other SO question重現此使用的代碼，它工作正常。

>>> from bs4 import BeautifulSoup 
>>> html_doc = """ 
... <html><head><title>Test HTML page</title></head> 
... <p class="title"><b>Test HTML page</b></p> 
... 
... <p class="links">Links: 
... <a href="./member.php?mode=&amp;g=user&start=100">Next</a> 
... </p> 
... </html> 
... """ 

>>> soup = BeautifulSoup(html_doc) 
>>> mylinks = soup.find_all("a", text="Next") 
>>> print mylinks 
[<a href="./member.php?mode=&amp;g=user&amp;start=100">Next</a>]

您使用的是什麼版本的美麗湯？

來源

2012-12-14 08:19:37 Talvalin

它的很多亂七八糟的代碼，強制告訴我在哪裏提的是格式化=無，然後我會嘗試， – user1858027

嗯。我想我明白你的意思。讓我再來一次。 – Talvalin

我正在使用bs4。我不知道它爲什麼來，但我已經手動刪除使用搜索替換 – user1858027

scrapy不解析某些網址字符

回答

相關問題