使用機械化bing搜索返回空白頁

Question

我正在使用機械化執行bing搜索，然後我將用美麗的湯來處理結果。我已經成功地執行谷歌和雅虎搜索與此相同的方法，但是當我做一個bing搜索，我得到的只是一個空白頁面。

我完全困惑，爲什麼這是這種情況，如果任何人都可以擺脫此事將不勝感激，將不勝感激。以下是我正在使用的代碼示例：

from BeautifulSoup import BeautifulSoup 
import mechanize 
br = mechanize.Browser() 
br.set_handle_robots(False) 
br.open("http://www.bing.com/search?count=100&q=cheese") 
content = br.response() 
content = content.read() 
soup = BeautifulSoup(content, convertEntities=BeautifulSoup.ALL_ENTITIES) 
print soup 

結果是空白行打印。

Answer 1

您可能得到的答案是答案已經存在於您的瀏覽器緩存中。試着改變一點你的查詢字符串，例如減計數到50

您還可以添加一些調試代碼，看看服務器返回的標題：

br.open("http://www.bing.com/search?count=50&q=cheese") 
response = br.response() 
headers = response.info() 
print headers 
content = response.read() 

編輯：

我有用Firefox和Opera瀏覽器試用了count=100這個查詢，看起來bing不喜歡這麼大的數量。當我減少計數然後它工作。所以這不是機械化或其他Python庫的錯誤，但是你的查詢有問題。它也似乎瀏覽器可以查詢與count=100 bing，但它必須首先查詢bing與一些較小的計數。奇怪！