1
我曾經有一個python腳本，使用Mechanize和BeautifulSoup正確地從下表中抽取數據。但是，該網站最近將表格的編碼更改爲了javascript，並且我無法處理它，因爲表格中有多個頁面。在多個頁面的javascript表上使用Python BeautifulSoup
例如，在上面的鏈接，我怎麼能抓住從第1頁和第2頁表的兩個數據？ FWIW，網址不變。
A
回答
4
最好的辦法是運行一個無頭的瀏覽器如phantomjs其理解所有錯綜複雜的JavaScript，DOM等，但你必須用Javascript編寫你的代碼，好處是你可以做任何你想做的事情，使用BeautifulSoup解析HTML很酷但有點長期頭痛。所以爲什麼刮時，你可以訪問DOM
0
機械化不處理JavaScript。
您可以觀察點擊按鈕時的請求（使用Firefox中的Firebug或Chrome中的開發人員工具）。比嘗試對頁面後面運行的JavaScript進行逆向工程，並嘗試使用Python代碼做類似的事情，請參閱Spidermonkey或
嘗試使用Selenium。
硒是一種泛函測試框架，它能夠自動在瀏覽器中執行某些操作這反過來又測試代碼的基本動作
相關問題
- 1. 用BeautifulSoup和Python刮掉多個頁面
- 2. Python BeautifulSoup - 循環遍歷多個頁面
- 3. 使用Beautifulsoup和正則表達式在頁面中遍歷JavaScript
- 4. 使用Python刮擦多個頁面Beautifulsoup - 只從最後一頁返回數據
- 5. 如何在python中同時拋出多個html頁面與beautifulsoup？
- 6. 如何計算使用python的網頁上有多少頁面
- 7. 使用BeautifulSoup刮網頁Python
- 8. 使用Javascript在一個頁面上創建多個實例
- 9. 如何在多個頁面上使用一個JavaScript對象？
- 10. 使用javascript在單個頁面上減少多個數字使用javascript
- 11. 無法在頁面上使用多個表單輸入[type = file]使用javascript
- 12. 用BeautifulSoup和Python刮取Javascript網頁
- 13. Highcharts使用c＃在單個頁面上的多個圖表mvc3
- 14. 如何使用R或Python刮取多個頁面的網頁
- 15. 在多個頁面上使用Processing.js
- 16. 在頁面上的多個表格
- 17. 如何使用Python自動分析跨越多個頁面的表格
- 18. 使用LazyLoader使用Python爬取頁面BeautifulSoup
- 19. 在一個頁面上適當使用多個樣式表
- 20. AJAX RoundedCornersExtender不能在一個頁面上使用多個表單
- 21. 使用Embed api在單個頁面上顯示多個圖表
- 22. 在多個頁面上使用一個列表
- 23. 在Django的頁面上使用多個表單
- 24. 在多個頁面上使用相同的表單？
- 25. 如何處理在多個頁面上使用的表單？
- 26. 使用BeautifulSoup在頁面中獲取最大行數的表格
- 27. 單個頁面上的多個表單
- 28. 如何使用JavaScript在頁面上提交第一個表單？
- 29. 如何使用JavaScript在兩個列表上打印html頁面？
- 30. 在多個頁面上打印表格
謝謝:)我會檢查出來 – 2012-01-17 18:09:13