在Linux服務器中運行帶硒的Scrapy Web爬蟲

Question

我開發了scrapy和selenium（python）的web爬蟲。它可以在我的本地成功運行。我好奇，我可以上傳我的整個爬蟲項目到我的Linux服務器，並像當地運行它？

我的本地只有一個問題，當程序運行時，它會打開瀏覽器並模仿人類的行爲，但在Linux服務器中，就像你知道的那樣，沒有我們可以打開的瀏覽器。

所以我們可以這樣做嗎？

Answer 1

您可以使用虛擬顯示器來運行無頭X服務器。

如果尚未安裝第一包：

sudo apt-get install xvfb python-pip 
sudo pip install pyvirtualdisplay 

和啓動硒的webdriver之前添加以下代碼：

from pyvirtualdisplay import Display 
display = Display(visible=0, size=(800, 600)) 
display.start() 

然後在執行結束時關閉驅動程序：

display.stop()