僅使用python beautifulsoup提取谷歌搜索片段

Question

我需要提取查詢的谷歌搜索結果片段。我在Python中使用BeautifulSoup。我的代碼如下：

question = "Where is Tajmahal?" 
opener = urllib2.build_opener() 
opener.addheaders = [('User-agent', 'Mozilla/5.0')] 
query = question 
query = urllib.urlencode ({ 'q' : query }) 
url = "http://www.google.com/search?%s&"+query 
page = opener.open(url) 
soup = BeautifulSoup(page) 

我不知道如何從這裏開始。我不知道Google搜索代碼片段存儲在哪個標籤中。請幫助

Answer 1

以下行添加到您的代碼的末尾：

google_html = open('google.html', 'w') 
google_html.write(str(soup.prettify())) 
google_html.close() 

然後去看看HTML找出哪些標籤，你要尋找的。你的問題對於你想要得到什麼而言是模糊的，你也許會注意到當你查看打印的文件時，它可能不是你想要的。