如何使用python urllib在搜索框中搜索？

Question

我期待使用的urllib在https://bigfuture.collegeboard.org

這裏搜索框搜索就是我有，但它只是讓我的html網頁：

import requests 
from urllib import urlopen 
from urllib import urlencode 
from bs4 import BeautifulSoup 

url = "https://bigfuture.collegeboard.org" 
data = urlencode({'q': 'financial analyst'}) 
results = requests.post(url, data) 
soup = BeautifulSoup(results.content, 'html.parser').encode("ascii", "ignore") 

output = open('text.txt','w') 
output.write(soup) 

如何使用，並提交給搜索框？

Answer 1

您需要在您的url中包含/sitesearch端點。如果我搜索「康大」，該網站點擊率的網址是：

https://bigfuture.collegeboard.org/sitesearch?q=uconn&searchType=bf_site&tp=bf_site 

因此，所有你需要做的是改變你的網址：

url = "https://bigfuture.collegeboard.org/sitesearch" 

另外，請確保您要關閉文件對象或使用上下文管理器with！

Answer 2

只需使用語義網址中的查詢參數

E.G.

searches = ['test','new search'] 

for search in searches: 
    search = search.replace(' ','+') 
    url = 'https://bigfuture.collegeboard.org/sitesearch?q=%s&searchType=bf_site&tp=bf_site' % (search) 
    print url 
    requests.get(url)