試圖腳本

Question

所有內運行，從另一個位置scrapy履帶，

我想完全自動刮我的，這是由3個步驟構成：

1獲得索引頁的列表廣告（非scrapy工作中，由於種種原因） 2 - 獲取在步驟一（Scrapy工作）

我scrapy項目是在平時的目錄中獲得的索引頁廣告的URL列表：

ç ：\ Python27 \ Scripts中\ GetAdUrlsFromIndex_project \ GetAdUrlsFromIndex \蜘蛛\ GetAdUrls_spider.py （以下簡稱 「GetAdUrls_spider」 文件中的蜘蛛的名稱爲（名稱= 「getadurls」））

我的腳本來自動化步驟1和2是在此目錄中：

C：\ Website_DATA \腳本\ StepByStepLauncher.py

我已經使用Scrapy文檔導入履帶和使用下面的代碼從腳本內運行的嘗試：

from twisted.internet import reactor 
from scrapy.crawler import Crawler 
from scrapy.settings import Settings 
from scrapy import log 
from GetAdUrlsFromIndex.spiders.GetAdUrls_spider import getadurls 

spider = getadurls(domain='website.com') 
crawler = Crawler(Settings()) 
crawler.configure() 
crawler.crawl(spider) 
crawler.start() 
log.start() 
reactor.run() # the script will block here 

I K當我嘗試不幸地運行這個腳本時，我得到了錯誤「沒有名爲GetAdUrlsFromIndex.spiders.GetAdUrls_spider的模塊」。我嘗試將工作目錄更改爲幾個不同的位置，我用名字玩弄，似乎沒有任何工作..

希望有任何幫助..謝謝！

Answer 1

如果你確實有C:\Python27\Scripts\GetAdUrlsFromIndex_project\GetAdUrlsFromIndex__init__.py和C:\Python27\Scripts\GetAdUrlsFromIndex_project\GetAdUrlsFromIndex\spiders然後嘗試修改腳本這樣

import sys 
from twisted.internet import reactor 
from scrapy.crawler import Crawler 
from scrapy.settings import Settings 
from scrapy import log 

sys.path.append('C:/Python27/Scripts/GetAdUrlsFromIndex_project') 
from GetAdUrlsFromIndex.spiders.GetAdUrls_spider import getadurls 

spider = getadurls(domain='website.com') 
crawler = Crawler(Settings()) 
crawler.configure() 
crawler.crawl(spider) 
crawler.start() 
log.start() 
reactor.run() # the script will block here