我嘗試重新命名並將2TB(數百萬的圖像)從本地服務器遷移到amazon s3上。我寫了PHP使用aws庫(運行在同一本地計算機上)發送它們,但我沒有6個月想完成。尋找更快做到這一點的一些想法。將大數據集遷移到s3
我有兩個想法,但不知道他們會更好.... 1.使用一些掛載s3解決方案(s3fs),將並行上傳(將它???) 2.拉圖像到一個ec2實例並從那裏發送到s3。我可以用ssh/FTP或http把它們拉出來。仍然可能需要手動並行它們?
任何幫助,將不勝感激。
我嘗試重新命名並將2TB(數百萬的圖像)從本地服務器遷移到amazon s3上。我寫了PHP使用aws庫(運行在同一本地計算機上)發送它們,但我沒有6個月想完成。尋找更快做到這一點的一些想法。將大數據集遷移到s3
我有兩個想法,但不知道他們會更好.... 1.使用一些掛載s3解決方案(s3fs),將並行上傳(將它???) 2.拉圖像到一個ec2實例並從那裏發送到s3。我可以用ssh/FTP或http把它們拉出來。仍然可能需要手動並行它們?
任何幫助,將不勝感激。
我需要100個平行線。似乎必須有一些能夠爲我做到這一點,或者至少有所幫助。 – therealsix 2011-04-12 23:48:47
腳本語言將幫助你。也許你可以編寫一個包裝外殼腳本來自動分割和提交部分。 – 2011-04-12 23:51:13
我希望找到能夠爲我做到這一點的東西,但最終並沒有那麼糟糕。我實現了argv參數,因此我可以輕鬆地在不同的圖像集上調用上載腳本。 – therealsix 2011-04-13 18:00:50