python search scraping

如何編寫一個與瀏覽器交互的Python程序？即我想編寫一個程序，將字典（或列表）中的字符串形式（粘貼）到Google中，如果結果不是「找到0匹配」，則將Google發現的第一頁的URL（複製到文本文件）。我的主要問題是，我不知道如何讓python在瀏覽器中執行任何操作。（如何讓它粘貼字符串，「按搜索」，看看是否有結果...）python search scraping

來源

2016-02-15 Nesa

這個問題需要更多的幫助，我們可以提供。我們喜歡幫助人們，但有時候這個人需要先閱讀一本有關該語言的書籍，在線文檔或詢問他們認識的人來幫助他們。對於您已經編寫的代碼所遇到的具體問題，SO更是如此。 – Prune

我相信[PhantomJS + Selenium]（http://stackoverflow.com/questions/13287490/is-there-a-way-to-use-phantomjs-in-python）是你想使用 –

@Prune一般我認爲你是對的，但在這種特殊情況下，答案中給出的請求模塊解決了我的問題。 – Nesa

你不需要刮。 Google提供了一個您可以使用的搜索API。你可以這樣做：

import requests 

api_url = 'http://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=%s' 
query = 'xxx' 
query_url = api_url %query 
response = requests.get(query_url).json() 
results = response['responseData']['results'] 
if results: 
    first_result_url = results[0]['url']

來源

2016-02-15 22:37:21

python search scraping

回答

相關問題