0
通過shell腳本調用scrapy爬行程序,該腳本用作crontab項中的命令行。 shell腳本的樣子:從cron調用的scrapy腳本只有構造函數調用
scrapy爬行targethost.com
時,時間已到而它確實執行,但似乎只是調用構造函數(我與調試輸出驗證)。問題是由重新編寫shell腳本解決爲:
scrapy爬行targethost.com &> cronlog.log
我只是不知道是什麼原因。
但它確實在process_item中調用了記錄器方法,但沒有記錄任何內容,這表明process_item未被調用。然而,&&process_item被調用並且抓取成功。 – user891260
'command&> file'只是將'command'的所有輸出重定向到'file'。它對'command'的執行沒有影響(至少我不知道)。你的問題必須在別的地方,但我坦白說,只要把那個'&>放在那裏,讓它成爲。 – naeg