以Cron作業運行Anaconda-Scrapy

我正在嘗試運行Scrapy（安裝有anaconda2）crawler作爲cron作業。到目前爲止沒有運氣。以Cron作業運行Anaconda-Scrapy

下面是cron命令：

* * * * * sh /home/username/anaconda2/folder/getdata.sh

這個cron運行，每1分鐘（我查了日誌文件，它似乎是確定）這裏是SH文件中的代碼：

#!/home/username/anaconda2/bin/python 
cd /home/username/anaconda2/crawler_folder 
PATH=$PATH:/home/username/anaconda2/bin 
export PATH 
scrapy crawl spider

sh代碼按照預期在終端中執行，但不作爲cron作業執行。能否請你幫忙

來源

2017-07-18 Medi Naseri

您可能需要再次檢查您的cron日誌，然後，例如https://askubuntu.com/a/121560。也許'scrapy'命令在cron運行時不可用（你可以用'.sh'腳本中的'scrapy'來檢查） –

如果我這樣做了，我可以在哪裏看到結果？在日誌中它只顯示cron作業已執行。 –

你讀過那個askubuntu答案嗎？如果您使用'* * * * * sh /home/username/anaconda2/folder/getdata.sh >> /home/username/myscript.log 2>＆1'，您是否看到scrapy抓取正在啓動？ –

這對我來說就像.sh文件和cron作業一樣。

#!/home/username/anaconda2/bin/bash 
PATH=/home/username/anaconda2/bin:home/username/anaconda2/sbin 
cd /home/username/anaconda2/crawler_folder && scrapy crawl spider

來源

2017-07-18 23:14:18

以Cron作業運行Anaconda-Scrapy

回答

相關問題