2014-03-13 100 views
1

我有一個URL列表,我想要下載和加入的文件。這些只能通過身份驗證才能訪問。 所以首先我打電話:Shell腳本使用curl + cookie批量下載文件併合並這些文件

curl -c cookie.txt http://url.to.authenticate 

然後,我可以使用cookie下載文件file1

curl -b cookie.txt -O http://url.to.file1 

最後我只想用cat

cat file1 file2 file3 ... > file_merged 

我有320這些URL存儲在一個文本文件中,並且想要使用腳本中包含的這些URL創建一個腳本,所以我需要的是將腳本複製到遠程計算機上nd執行它。 我並不擅長shell腳本,如果有人能幫我一下,我會喜歡它。 也許一些更防故障比

#!/bin/sh 
curl -c cookie.txt http://url.to.authenticate 
curl -b cookie.txt -O http://url.to.file1 
curl -b cookie.txt -O http://url.to.file2 
curl -b cookie.txt -O http://url.to.file3 
... 
cat file1 file2 file3 ... file320 > file_merged 

回答

2

因此,像(如果你的文件列表存儲在files.txt):

#!/bin/sh 
curl -c cookie.txt http://url.to.authenticate 
while read f; do 
    curl -b cookie.txt -O http://url.to."$f" 
    cat "$f" >> file_merged 
    rm -f "$f" 
done < files.txt