使用s3cmd並行上傳文件到s3

Question

我在服務器上有一大堆文件，我想將它們上傳到S3上。這些文件以.data擴展名存儲，但實際上它們只是一堆jpegs，png，zip或pdf。

我已經寫了一個簡短的腳本，它可以找到mime類型並將它們上載到S3上，並且可以工作，但速度很慢。有沒有辦法使用gnu parallel進行下面的運行？

#!/bin/bash 

for n in $(find -name "*.data") 
do 
     data=".data" 
     extension=`file $n | cut -d ' ' -f2 | awk '{print tolower($0)}'` 
     mimetype=`file --mime-type $n | cut -d ' ' -f2` 
     fullpath=`readlink -f $n` 

     changed="${fullpath/.data/.$extension}" 

     filePathWithExtensionChanged=${changed#*internal_data} 

     s3upload="s3cmd put -m $mimetype --acl-public $fullpath s3://tff-xenforo-data"$filePathWithExtensionChanged  

     response=`$s3upload` 
     echo $response 

done 

此外，我敢肯定，這個代碼可以大大提高一般:)反饋提示將不勝感激。

Answer 1

你都清楚地熟練編寫shell，並非常接近一個解決方案：

s3upload_single() { 
    n=$1 
    data=".data" 
    extension=`file $n | cut -d ' ' -f2 | awk '{print tolower($0)}'` 
    mimetype=`file --mime-type $n | cut -d ' ' -f2` 
    fullpath=`readlink -f $n` 

    changed="${fullpath/.data/.$extension}" 

    filePathWithExtensionChanged=${changed#*internal_data} 

    s3upload="s3cmd put -m $mimetype --acl-public $fullpath s3://tff-xenforo-data"$filePathWithExtensionChanged  

    response=`$s3upload` 
    echo $response 
} 
export -f s3upload_single 
find -name "*.data" | parallel s3upload_single 

Answer 2

你可以使用s3cmd-modified，它允許你把/獲取/同步多個工人在並行

$ git clone https://github.com/pcorliss/s3cmd-modification.git $ cd s3cmd-modification $ python setup.py install $ s3cmd --parallel --workers=4 sync /source/path s3://target/path

Answer 3

使用aws cli。它支持文件的並行上傳，上傳和下載的速度非常快。

http://docs.aws.amazon.com/cli/latest/reference/s3/