我在具有25個4gb json文件的目錄(我也在使用-z選項進行壓縮)上並行運行gsutil cp命令(使用-m選項)。限制並行文件到cp的數量
gsutil -m cp -z json -R dir_with_4g_chunks gs://my_bucket/
當我運行它時,它將打印出終端,它正在複製除一個文件以外的所有文件。我的意思是,它打印每個文件的這些行之一:
Copying file://dir_with_4g_chunks/a_4g_chunk [Content-Type=application/octet-stream]...
一旦其中的一個傳送完成,它說,它會被複制的最後一個文件。
這樣做的結果是,有一個文件,僅啓動時別人的一個複印完畢後只複製,顯著放緩過程
有沒有我可以上傳文件的數量限制-m選項?這是可配置在boto配置文件?