在heroku上部署scrapy項目

Question

我有一個scrapy蜘蛛項目，它將一些網站剪下來，並把它提交給我。我的蜘蛛產生兩個JSON文件，其中存儲所有被刮取的數據。

現在，我已經使用這個上面所述的兩個JSON文件，以滿足用戶要求的燒瓶中的Web服務。

我已經在heroku上部署了這個燒瓶web服務，並且工作正常。

我在這裏的問題是，我在我的本地機器上運行scrapy蜘蛛日常然後手動更新在Heroku兩個JSON文件。

我想這個過程自動化是scrapy項目應日常運行和JSON文件產生都應自動更新。

我發現這裏有什麼解決辦法是，如果scrapy蜘蛛和Web服務部署爲單個項目，我想它會工作....但我不知道，如果是可以做到的。

我已經搜索了有關部署scrapy項目的主題，我發現了scrapyd甚至是scrapy-heroku，但我對他們將如何幫助或者我應該如何使用它們來滿足我的特定要求毫無頭緒。

Answer 1

我以前也曾經遇過類似的情況。

這裏是你想做的事：而不是使用Scrapy與刮下數據本地生成JSON文件 - 創建一個Scrapy pipeline和你刮數據存儲到數據庫中，而不是（Heroku Postgres，或類似的東西）。

然後，當你運行Scrapy，它會颳去你的網站（S），並且將信息存儲到Postgres的。

現在，您應該在Heroku上單獨部署您的Flask項目。使用Flask-SQLAlchemy通過Heroku Postgres數據庫與抓取的數據進行交互，而不是從本地JSON文件讀取數據。

這有道理嗎？

這通常是處理刮東西的最佳方式 - 默認Scrapy JSON項目管道是偉大的試驗，但通常不是你想要什麼嚴重的數據。

希望有幫助！