是否有替代scp的方式,可以通過打開並行連接將大文件從一臺機器傳輸到另一臺機器,並且還可以暫停和恢復下載。替代scp,通過打開並行連接在linux機器之間傳輸文件
請不要將此轉移到severfault.com。我不是系統管理員。我是一位開發人員,試圖在備份主機和服務器之間傳輸數據庫轉儲。
謝謝
是否有替代scp的方式,可以通過打開並行連接將大文件從一臺機器傳輸到另一臺機器,並且還可以暫停和恢復下載。替代scp,通過打開並行連接在linux機器之間傳輸文件
請不要將此轉移到severfault.com。我不是系統管理員。我是一位開發人員,試圖在備份主機和服務器之間傳輸數據庫轉儲。
謝謝
您可以嘗試使用split(1)將文件分開,然後並行掃描碎片。然後可以將文件合併到目標機器上的單個文件中,並使用'cat'。
# on local host
split -b 1M large.file large.file. # split into 1MiB chunks
for f in large.file.*; do scp $f remote_host: & done
# on remote host
cat large.file.* > large.file
或windows equivelant 'split -b 1m large.file large.file.' 'FOR%f in(large.file。*)DO scp -i C:\ path \ to \ private.key%f user @ remote_host :/ PATH' – coderatchet 2014-05-07 05:29:08
看看rsync,看它是否會滿足您的需求。
問題的正確位置並非基於您的角色,而是基於問題的類型。由於這不是嚴格的編程相關,它可能會被遷移。
rsync不會打開並行連接以按OP描述的方式傳輸大文件。 – 2017-07-06 10:05:43
你後面的程序是lftp。它使用它的pget命令支持sftp和並行傳輸。它可以在Ubuntu下(命令和apt-get安裝lftp的),你可以在這裏閱讀它的一個觀點:
http://www.cyberciti.biz/tips/linux-unix-download-accelerator.html
類似邁克·K公司的回答,請https://code.google.com/p/scp-tsunami/ - 它處理拆分文件,開始幾個SCP工藝複製的部分,然後再加入他們...它也可以複製到多臺主機...
./scpTsunami.py -v -s -t 9 -b 10m -u dan bigfile.tar.gz /tmp -l remote.host
,其將文件轉換成10MB塊,並將它們複製使用9個SCP工藝...
僅僅因爲你是一名開發人員並不是這不是一個編程問題。 – 2010-06-03 23:16:20
您的問題描述不足。爲什麼文件很大很重要?您認爲使用「並行連接」可以解決哪些問題?您遇到什麼問題需要暫停和恢復傳輸?您應該可以與您的本地系統管理員通話。她知道如何在機器之間複製大文件。 – 2010-06-04 14:57:55