爲什麼我可以在瀏覽器中查看頁面，但可以使用代碼使用URL

下載它我嘗試使用requests和BeautifulSoup模塊從google.scholar.com下載頁面。網址是https://scholar.google.com/citations?mauthors=computer+science&hl=en&view_op=search_authors。當我將網址複製到Chrome時，我可以查看該頁面。但是，如果我嘗試使用requests下載它，它讓我404 NOT FOUND error：爲什麼我可以在瀏覽器中查看頁面，但可以使用代碼使用URL

<!DOCTYPE html> 
<html lang="en"> 
<head><meta charset="utf-8"/> 
<meta content="initial-scale=1, minimum-scale=1, width=device-width" name="viewport"/> 
<title>Error 404 (Not Found)!!1</title> 
<style> 
    *{margin:0;padding:0}html,code{font:15px/22px arial,sans-serif}html{background:#fff;color:#222;padding:15px}body{margin:7% auto 0;max-width:390px;min-height:180px;padding:30px 0 15px}* > body{background:url(//www.google.com/images/errors/robot.png) 100% 5px no-repeat;padding-right:205px}p{margin:11px 0 22px;overflow:hidden}ins{color:#777;text-decoration:none}a img{border:0}@media screen and (max-width:772px){body{background:none;margin-top:0;max-width:none;padding-right:0}}#logo{background:url(//www.google.com/images/branding/googlelogo/1x/googlelogo_color_150x54dp.png) no-repeat;margin-left:-5px}@media only screen and (min-resolution:192dpi){#logo{background:url(//www.google.com/images/branding/googlelogo/2x/googlelogo_color_150x54dp.png) no-repeat 0% 0%/100% 100%;-moz-border-image:url(//www.google.com/images/branding/googlelogo/2x/googlelogo_color_150x54dp.png) 0}}@media only screen and (-webkit-min-device-pixel-ratio:2){#logo{background:url(//www.google.com/images/branding/googlelogo/2x/googlelogo_color_150x54dp.png) no-repeat;-webkit-background-size:100% 100%}}#logo{display:inline-block;height:54px;width:150px} 
    </style> 
</head><body><a href="//www.google.com/"><span aria-label="Google" id="logo"></span></a> 
<p><b>404.</b> <ins>That’s an error.</ins> 
</p><p>The requested URL <code>/citations</code> was not found on this server. <ins>That’s all we know.</ins> 
</p></body></html>

劇本，除了報頭（因爲它是太長），下載頁面

url = "https://scholar.google.com/citations?mauthors=computer+science&hl=en&view_op=search_authors" 
for i in range(1200): 
    r = requests.get(url, headers=headers) 
    soup = BeautifulSoup(r.content, "lxml") 
    print soup

莫非任何人都可以幫助我？

來源

2017-04-23 dashenswen

谷歌會阻止你的請求，因爲它被視爲不是來自瀏覽器。替代使用，將是捲曲。如果你想在Python腳本中使用它，你可以使用下面的代碼。

import os 

html_content = os.popen('curl https://scholar.google.com/citations?mauthors=computer%20science&hl=en&view_op=search_authors').read()

來源

2017-04-23 01:54:17

如果您使用Python您可以使用BeautifulSoup和urllib2做這樣的事情：

from urllib2 import Request, urlopen 
from bs4 import BeautifulSoup as soup 

url = "https://scholar.google.com/citations?mauthors=computer%20science&hl=en&view_op=search_authors" 

def load_url(url): 
    request = Request(url) 
    # Add your header here 
    request.add_header('Referer', 'python.org') 
    # Note here: 
    # The charset used in your current website is: 'iso-8859-1' 
    # data = urlopen(request).read().decode("iso-8859-1") 
    data = urlopen(request).read() 

    return soup(data, "lxml") 


data = load_url(url) 
m = data.findAll("h3", {"class": "gsc_1usr_name"}) 
for k in m: 
    print k.get_text()

否則，如果你正在使用Python3您可以使用BeautifulSoup和urllib.request做這樣的事情：

from urllib.request import Request, urlopen 
from bs4 import BeautifulSoup as soup 

url = "https://scholar.google.com/citations?mauthors=computer%20science&hl=en&view_op=search_authors" 

def load_url(url): 
    request = Request(url) 
    # Add headers 
    request.add_header('Referer', 'python.org') 

    with urlopen(request) as f: 
     # The charset used 
     # charset = f.info().get_content_charset() 
     # Debug 
     # print("The current charset is:", charset) 
     data = f.read() 

    return soup(data, 'lxml') 

data = load_url(url) 
m = data.findAll("h3", {"class": "gsc_1usr_name"}) 
for k in m: 
    print(k.get_text())

輸出（對於使用的兩個代碼和Python3）：

Herbert Simon 
Geoffrey Hinton 
William H. Press 
Jiawei Han 
Stephen Boyd 
anupam gupta 
David S. Johnson 
Scott Shenker 
Jeffrey Ullman 
Deborah Estrin

來源

2017-04-23 02:47:59

嗨，你會被封鎖嗎？我嘗試更改User-Agent並在頭文件中添加一些內容，但1分鐘後仍然被阻止 – dashenswen

不，我沒有被阻止。一切對我來說都很好。你能再試一次並粘貼你的錯誤嗎？ –

他們返回一份文件並提示他們認爲這是一項不尋常的要求。所以我被封鎖了。我的朋友在10-20秒之間發送隨機超時。 10分鐘後，他也被封鎖了......但我確實檢查了你的代碼。如果你運行1000次，會發生 – dashenswen

爲什麼我可以在瀏覽器中查看頁面，但可以使用代碼使用URL

回答

相關問題