在我的工作中,我使用了2臺Linux服務器。 第一個用於網頁爬行並將其創建爲文本文件。 另一個用於分析來自網絡爬蟲的文本文件。在創建文件時自動在服務器之間傳輸Linux文件
所以問題是當一個文本文件在網絡爬行服務器上創建時,它需要在分析服務器上自動傳輸。
我用shell編程指南提到的一些技巧, 並設置抓取服務器能夠無需密碼來執行命令scp
(通過使用ssh-keygen
指揮,authorized_keys
文件添加ssh-key
位於/根/ .ssh目錄) 但我無法弄清楚如何以編程方式傳輸文件時創建。
我的工作職位是單純的數據分析(而不是編程) 因此,缺乏後臺編程知識是我的大問題
如果觸發scp
創建時複製文件的方式,請告訴我。
爲什麼我們需要有2臺電腦更多
inotifywait
?網頁爬蟲不能在抓取時進行分析嗎? –看看'inotifywait'。使用它來觀察創建網絡抓取文件的目錄,並將其rsync添加到分析框中。 –
爲什麼需要2臺電腦?網頁爬蟲不能在抓取時進行分析嗎? >>>是的,但我們需要使用該分析服務器。可悲的是...... –