ScrapingHub和遠程數據庫

我正在用scrapy創建一個蜘蛛，並且我想使用MySQL數據庫在我的蜘蛛中獲取start_urls。現在我想知道是否可以將scrapy-cloud連接到遠程數據庫？ScrapingHub和遠程數據庫

來源

2015-07-20 gueyebaba

我可以在scrapinghub運行蜘蛛與遠程數據庫獲得start_urls – gueyebaba

你可以做到這一點通過重寫start_requests蜘蛛方法：

http://doc.scrapy.org/en/latest/topics/spiders.html#scrapy.spiders.Spider.start_requests

基本上你可以做你從那裏想要的任何東西。

Mysql python默認安裝在scrapy雲上。文檔：http://mysql-python.sourceforge.net/

來源

2015-07-23 20:09:28

謝謝 – gueyebaba

現在我重寫start_requests，給我的IP地址來承載它是非常有益的，爲例CON = mdb.connect（主機= '192.168.1.2'，user ='root'，passwd ='admin'，db ='scrapinghub'）。當我在ScrapingHub上部署蜘蛛時，出現以下錯誤：無法連接到'192.168.1.26' – gueyebaba

上的MySQL服務器您好，這不是您的公有IP，這是您的本地網絡地址。要找到你的公共IP，請訪問http://httpbin.org/ip從託管mysql服務器的機器。 –

ScrapingHub和遠程數據庫

回答

相關問題