我寫了一些基本的Python代碼來抓取遠程網頁並抓取一些數據。在我試圖抓取的不同頁面上,數據從視圖中隱藏起來,並且只有在更改<select>
框的值後纔會顯示。使用Python在遠程網站上觸發Javascript事件
在通過遠程網站的javascript進行縮小和挖掘之後,我確認它使用的是AJAX(我認爲自定義實現原型)來切換<tbody>
的<table>
我對抓取感興趣。
有沒有辦法使用Python(或通過Python的Javascript)來觸發該選擇框的onChange事件,以便我可以「刷新」DOM並獲取新的HTML?
爲什麼不直接做AJAX請求並解析你想要的數據呢? – kindall
看看PySide的WebKit綁定 - 你可以做到這一點。 (我正在研究一個類似的項目) – synthesizerpatel
@ kindall我原來找不到ajax請求url(使用chrome的內置檢查元素工具)。然後朋友建議我使用Firefox上的螢火蟲(我通常使用,但愚蠢的沒有想到嘗試)和請求的URL在控制檯彈出如預期。如果你想發表一個答案,我會接受你的。 –