我將大約31 TB的數據(包含4500個文件,文件大小範圍從69MB到25GB)從遠程服務器傳輸到s3存儲桶。我使用s4cmd put要做到這一點,並把它放在一個bash腳本upload.sh: #!/bin/bash
FILES="/path/to/*.fastq.gz"
for i in $FILES
do
echo "$i"
s4cmd put --sync-ch
運行一個Python腳本我有一個python腳本main_script.py,看起來像這樣: import os
Files = os.listdir(os.path.join(path, "."))
FilesNumber = len(Files)
for fileID in range (0,FilesNumber):
filename = Files[fileID]