0
我想刮一個網站的一部分，可以說：www.mywebsite.com/ X1/X2先進的網頁抓取
網站需要登錄信息。
您需要打開X1第一，那麼你點擊一個按鈕，X2將打開一個彈出窗口。如果您關閉x1您將無法訪問x2。
我使用互聯網下載管理器，我想我把正確的登錄信息，但這種失敗，因爲你需要X1被打開，當你訪問X2。
該網站支持JavaScript。
Q
先進的網頁抓取
A
回答
0
IDM（我看了之後）是用於下載，而不是經常性的網頁抓取。爲什麼不使用特殊的web scraping software？他們大多支持登錄和複雜的HTML和js-driven pages scrape。在我看來，你的情況不是純粹的html頁面，而是一個js-stuffed網頁。
相關問題
- 1. 網頁抓取/抓取的資源
- 2. 使用ruby進行網頁抓取
- 3. 使用Python進行網頁抓取
- 4. 使用Java進行網頁抓取
- 5. 使用Java Swing進行網頁抓取
- 6. 使用Python進行網頁抓取
- 7. 網頁抓取/抓取基於GWT的網頁
- 8. Beautifulsoup網頁抓取
- 9. BeautifulSoup網頁抓取
- 10. PHP網頁抓取
- 11. Spyder - 網頁抓取
- 12. 網頁抓取/屏幕抓取
- 13. Perl的網頁抓取
- 14. 在R的網頁抓取
- 15. Python的網頁抓取 - UnicodeEncodeError
- 16. python3中的網頁抓取
- 17. 的Python - 網頁抓取 - BeautifulSoup
- 18. Python的SSL網頁抓取
- 19. C＃網頁抓取的Javascript
- 20. 此網頁抓取工具是進行廣度優先搜索還是進行深度優先搜索？
- 21. 使用JSoup網頁抓取網頁
- 22. 使用vba抓取網頁
- 23. 蟒蛇網頁抓取
- 24. 從網頁抓取文本
- 25. 刮屏|網頁抓取
- 26. Python - 網頁抓取問題
- 27. 優化網頁抓取
- 28. 在python中抓取網頁
- 29. 在Delphi中抓取網頁
- 30. 網頁抓取性能
什麼是IDM？你用什麼工具，語言來請求網頁？ –
IDM代表稱爲Internet Download Manager的軟件。 – user42987
查看您是否可以登錄並直接**訪問沒有JavaScript的「www.mywebsite.com/x1/x2」（即如果必須，請輸入URL）。這將取決於你是否可以使用簡單的刮板或需要一個完整的無頭瀏覽器（這將會慢得多）。 – halfer