如何在控制檯上顯示日誌並保存外部日誌以進行爬網？

Question

就像標題一樣。我使用-s LOG_FILE = mylog.txt來保存外部日誌。但我還希望看到蜘蛛正在運行的日誌。有沒有辦法做到這一點？我使用的是Windows 10，並且更喜歡在Windows 10中可以使用的答案。

業餘開發人員沒有在這裏計算背景，所以請在我身上輕鬆一下。

Answer 1

使用GNU的tee工具：

scrapy crawl myspider 2>1 | tee crawl.log

2>1重定向錯誤輸出到標準輸出 - 你想在同一個文件中的錯誤和信息的可能性最大。
| tee crawl.log輸出到tee的管道將其拆分爲crawl.log文件和stdout。

有tee實施窗口太：

有Unix的tee命令的一個Win32端口，這正是這麼做的。見http://unxutils.sourceforge.net/或http://getgnuwin32.sourceforge.net/

摘自：https://stackoverflow.com/a/796492/3737009