python無頭瀏覽器獲取html響應

我試圖做一個自動化的系統，執行多個搜索並下載結果。我需要首先獲取網站的身份驗證，直接到搜索頁面，設置搜索參數，使html req包含通過post發送的一些值，以html的形式獲取響應以解析下載和下載的內容。你能幫助我，並將我重新導向一些樣本以瞭解如何做這樣的事情嗎？什麼是最好的軟件包使用？python無頭瀏覽器獲取html響應

最佳

來源

2017-07-26 ida

當我需要解析一堆HTML對信息的關鍵部分，我很幸運地被使用Python，我總是達到BeautifulSoup第一。

https://www.crummy.com/software/BeautifulSoup/

來源

2017-07-26 15:15:42 mattbornski

我們應該如何處理使用beautifulsoup進行身份驗證？ – ida

我使用beautifulsoup *僅解析*。我通常使用類似於http://docs.python-requests.org/en/master/的東西來進行實際的HTTP協商和傳輸。 – mattbornski

python無頭瀏覽器獲取html響應

回答

相關問題