內容刮板和Django

Question

我有一個使用Django構建的應用程序。部分依賴於我從其他網站彙總的數據。想知道我應該如何建立刮板/聚合器。

我看到建立它作爲一個Django應用程序的優點是

1. 使用Django的模型&數據庫API
2. 使用Django的其他方法

在其他能力的能力我認爲從長遠來看，缺點是可擴展性。

我應該在我的Django項目中將應用程序構建爲應用程序還是作爲獨立運行的腳本？

很想聽聽你的想法。

Answer 1

你的觀點都不需要它運行within Django。而且由於它不依賴於web/HTTP接口，因此將它作爲單獨的模塊是唯一有意義的選擇。

Answer 2

如果它是一個django應用程序，它只會在有人加載頁面時運行。這可能會減緩加載速度。

製作另一個腳本可能是一個更好的主意，但可能會產生不準確的數據。

我認爲它實際上取決於上下文。

Answer 3

我只是發表了Django應用程序上GitHub Django的動態刷屏，這是建立在刮框架Scrapy的頂部，在那裏你可以在Django管理建立Scrapy刮削器和使用Django模型類來存儲您刮出數據，也許這對某些有類似問題的人有用。