0
我試圖上傳一個大的目錄(1TB)與成千上萬的'小'文件(gsutil -m cp -R -q/dir/* gs:// bucket_name)。但幾個小時後,我可以看到CPU使用率猛增至100%,網絡流量永久降至0。似乎在md5sum應該花費不到一秒的隨機文件中遇到「趕上md5進行恢復上傳」。gsutil和大批量上傳
我試圖上傳一個大的目錄(1TB)與成千上萬的'小'文件(gsutil -m cp -R -q/dir/* gs:// bucket_name)。但幾個小時後,我可以看到CPU使用率猛增至100%,網絡流量永久降至0。似乎在md5sum應該花費不到一秒的隨機文件中遇到「趕上md5進行恢復上傳」。gsutil和大批量上傳
我們現在已經在gsutil 3.18版中解決了這個問題。您可以通過運行得到它 :
GSUtil的更新
請讓我們知道,如果你繼續有應用此更新後的問題。
我正在運行一些測試,目前爲止這麼好;光滑如黃油。 – user1345178