Python scaping響應數據

我想採取有關特定網站的響應數據。我有這個網站： https://enjoy.eni.com/it/milano/map/ ，如果我打開瀏覽器debuger控制檯我可以看到，給一個JSON響應posr要求：Python scaping響應數據

如何在python我可以通過刮網站這個響應？感謝

來源

2017-02-24 APPGIS

顯然，Web服務有PHPSESSID驗證，所以我們需要先得到它使用正確的用戶代理：

import requests 
import json 

headers = { 
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.76 Safari/537.36' 
} 
r = requests.get('https://enjoy.eni.com/it/milano/map/', headers=headers) 
session_id = r.cookies['PHPSESSID'] 
headers['Cookie'] = 'PHPSESSID={};'.format(session_id) 
res = requests.post('https://enjoy.eni.com/ajax/retrieve_vehicles', headers=headers, allow_redirects=False) 
json_obj = json.loads(res.content)

來源

2017-02-24 11:00:19

Yohanes嗨。是的，我只是嘗試使用我的瀏覽器的PHPSESSID並運行。但我也試着通過CookieLib來檢索這個值，但是如果我通過請求響應這個網站的html而不是json – APPGIS

@APPGIS的話，那麼在檢索這個值之後就可以了。我已經更新了我的答案。顯然我們只需要在第一個請求中添加'User-Agent'以獲取正確的Cookie –

似乎有效......感謝Yohanes – APPGIS

Python scaping響應數據

回答

相關問題