從網絡服務器提取數據

Question

我已經使刮板從網站（例如電影）中提取數據，但是如何連接到網站服務器以直接從該數據庫提取數據，而不是讓抓取工具從數據庫中提取數據視覺網站？如果你可以給我圖書館的名字，一套工具或一本你很酷的指南。

extra： 請求庫是否執行此操作來獲取帖子功能？

Answer 1

您將無法直接從網站數據庫獲取數據。 有一個很好的Python包，而無需使用GUI來從網站的數據：requests

>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass')) 
>>> r.status_code 
200 
>>> r.headers['content-type'] 
'application/json; charset=utf8' 
>>> r.encoding 
'utf-8' 
>>> r.text 
u'{"type":"User"...' 
>>> r.json() 
{u'private_gists': 419, u'total_private_repos': 77, ...}