網頁搜刮網址問題

Question

我正在努力爲每個與美國農作物相關的業務以及年收入達到或超過5,000,000美元的客戶提供信息。問題是，當我在搜索參數中更改選項時，它不會更改URL ...所以我不知道如何去做這樣的項目......任何幫助將不勝感激！

這是網站我想刮：http://listings.findthecompany.com/d/a/Crop-Farms

Answer 1

如果您捕獲網絡，你可以看到網頁進行呼叫，當你點擊搜索。

http://listings.findthecompany.com/ajax_search?_len=20&page=0&app_id=1662&_sortfld=sales_volume_us&_sortdir=DESC&_fil%5B0%5D%5Bfield%5D=sic_1_4digit&_fil%5B0%5D%5Boperator%5D=%3D&_fil%5B0%5D%5Bvalue%5D=0191&_fil%5B1%5D%5Bfield%5D=_sphinx_universal_search&_fil%5B1%5D%5Boperator%5D=LIKE&_fil%5B1%5D%5Bvalue%5D=Apple&_fil%5B1%5D%5Bignore%5D=false&_tpl=srp&head%5B%5D=company_name&head%5B%5D=_GC_address&head%5B%5D=total_employees&head%5B%5D=employees_here&head%5B%5D=sales_volume_us&head%5B%5D=year_started&head%5B%5D=citystate&head%5B%5D=localeze_classification&head%5B%5D=id&head%5B%5D=_encoded_title&dir_field_1=207944

實際上，你可以檢查不同的參數，並得到所有你需要的數據。 我使用'Apple'作爲搜索詞，它作爲參數傳遞。