從沒有通過URL提供javascript參數的網站上刮取數據

Question

我試圖從http://spinning.com/find-a-class中刮取數據。問題是當我更改Zip和radius時，URL不會更改。我不知道如何製作，以便我可以打開網頁到一個特定的Zip被刮掉。

我想知道如何讓網站打開並且已經指定了特定的zip文件。我在python中刮。我不熟悉JavaScript，所以我不知道如何繼續。提前致謝。

Answer 1

監測網絡請求顯示它調用這個API：

import requests 
url = 'https://www.bullseyelocations.com/pages/MDDGTEST?f=1' 
rs = requests.post(url, data={ 
    'ctl00$ContentPlaceHolder1$hfTotalPages': 1, 
    'ctl00$ContentPlaceHolder1$hfResultsPerPage': 20, 
    'ctl00$ContentPlaceHolder1$txtCityStateZip': 'New York, NY', 
    'ctl00$ContentPlaceHolder1$hfCountry': 'United States', 
    'ctl00$ContentPlaceHolder1$radiusList': 5})