1
我使用python編程，並使用美麗的湯來解析The History Channel's News Feed中的文章。到目前爲止，我可以弄清楚如何從單個文章中獲得文章文本，但我無法弄清楚如何從無限的feed中獲取鏈接。我嘗試插入RSS feed並使用feedparser，但只提供了20篇最新的文章。從無限大的網頁獲取所有文章鏈接？
有沒有辦法讓我失去更多？ Pythonic方法首選！
A
回答
1
在引擎蓋下，無限滾動通常是通過從可以直接從url訪問的分頁結果中注入記錄來處理的。使用Postman Interceptor，您可以發現分頁結果的url模式。
結果本頁面的第二頁是：http://www.history.com/api/html/news?sidebars=aetn_content&includejs=aetn_content&page=2
循環一翻和颳走！
相關問題
- 1. 從網頁提取所有鏈接
- 2. Python無法從網頁獲取鏈接
- 3. Jsoup從頁面獲取所有鏈接
- 4. 無法獲取網頁中的所有鏈接 - Selenium
- 5. Python和硒 - 從網頁獲取所有鏈接
- 6. 獲取文本中所有頁面上的所有鏈接。
- 7. 獲取頁面上的所有鏈接
- 8. [JAVA]從網頁獲取HTML鏈接
- 9. 從python網頁獲取鏈接
- 10. 從網頁獲取所有HTTP網址
- 11. 如何獲取特定網站中的所有頁面鏈接？
- 12. 如何使用perl獲取網頁中的所有鏈接？
- 13. 獲取鏈接到網頁的所有CSS樣式表
- 14. 使用Ruby獲取網頁的所有鏈接
- 15. 獲取HTML網頁上的所有鏈接
- 16. 如何從網站獲取所有網站鏈接？
- 17. Schema.org微數據條文章頁面上的所有鏈接到文章
- 18. 無法正確獲取所有鏈接
- 19. 從頁面抓取所有鏈接
- 20. 無法獲取所有頁面的鏈接
- 21. 從頁面獲取所有鏈接美麗的湯
- 22. 如何從DOM中的頁面獲取所有鏈接？
- 23. 獲取具有圖像/視頻/文章鏈接的推文
- 24. 從網頁獲取所有鏈接和圖像的最快方法？
- 25. 如何從網頁上的所有嵌入式視頻獲取鏈接？
- 26. 從文章（腳本塊頁面）鏈接改變的鏈接
- 27. 從網站獲取鏈接
- 28. 獲取所有文章的標題
- 29. 我正在嘗試從網站獲取所有鏈接，並在所有鏈接上單擊一個鏈接
- 30. 無頭CMS：Wordpress Rest-API - 添加現有文章/頁面的鏈接
非常感謝！ –