抓取新聞文章

Question

有誰知道是否有標準/ API來抓取來自大多數最大新聞來源的新聞文章。

我正在使用rss爲它們編制索引，但我想用更多的數據對它們進行分類，而不僅僅是它們的標題。

Answer 1

使用新聞搜索或流API：

http://www.daylife.com

http://spotlight.reuters.com

https://newsriver.io/

Answer 2

如果我的閱讀正確，你的意思是Atom？

還有RSS specifications

Answer 3

如果你正在尋找一個API抓取來自多源新聞，你可以考慮Newsriver。 這是一個非常新的API來檢索結構化在線新聞文章。

Newsriver涵蓋大量的在線新聞來源，並且它是完全可配置的。

使用爬行作爲服務API的主要優點是，你不再需要管理以下幾個方面：

1. 查找和維護新聞出版商的RSS源和網站的網址。
2. URL規範化，循環和規範化。
3. 請求限制（避免濫用抱怨）。
4. 靜態HTML爬行和動態（Ajax）爬行。
5. 內容提取，主文本，如圖片，視頻，地圖，鳴叫等
6. 元數據提取（例如語言，位置，關鍵字等）
7. 重複新聞文章檢測嵌入的對象。