颳去Google專利，請求只返回風格和腳本標記

Question

我試圖使用下面的代碼刮Google專利。

url = 'https://patents.google.com/?q=usb' 
    r = requests.get(url) 
    html_doc = r.text 
    soup = BeautifulSoup(html_doc) 

但是當我嘗試檢查文檔，使用

print(soup.prettify) 

我不能得到比這https://pastebin.com/Xu81LdfE的任何其他。 我檢查了請求狀態，它返回200.我哪裏錯了？

Answer 1

該頁面來爲不同的URL上的結果： https://patents.google.com/xhr/query?url=q%3Dusb&exp=

因此，而不是使用BeautifulSoup的，你可以做r.json（），並找到你在它創建的字典想要什麼。

Answer 2

該數據不在HTML中，但加載了JavaScript。

因此，美麗的女孩不能刮掉它。

考慮使用官方API，因爲其他用法可能會違反Google的服務條款，他們可能會阻止您。