AWS：S3FS AMI和負載均衡器高I/O問題

我想通過AWS設置項目環境。根據我的一點研究，我瞭解了S3存儲桶服務。而且我也知道如果我將我們的代碼文件放在S3存儲桶中將更加相關，那麼將它們放入NFS或其他文件共享系統中。AWS：S3FS AMI和負載均衡器高I/O問題

現在我有一個EC2實例在AWS了，裏面同樣我試圖建立S3FS，並通過一些設置我已經得到了我們的EC2環境中所有的桶中的文件和文件夾。我也對這一點印象深刻。但是我們的項目在CPU和內存負載很重的情況下運行。因此，如果沒有爲同一項目設置負載平衡器（使用相同的S3FS配置的映像AMI）。這對我來說毫無價值。

現在我已經爲配置相同的S3FS的EC2實例創建了AMI映像，並且當我的縱向負載平衡器策略試圖爲該映像創建一個點請求（AMI）時，我看到了高I/O速率！！由於那意外的項目運行非常緩慢！

任何人都可以更好地建議我如何降低新啓動的啓用了S3FS的實例的高I/O率？

來源

2013-07-29 Tom Inic

S3FS卷不應該用作塊設備。在覆蓋範圍內，它所做的只是將文件複製到臨時目錄，並在訪問或修改它們時來回傳送文件。您可以從S3複製您的應用程序，但不要在其上運行它 – datasage

Hello datasage，感謝您的回覆。我同意你的評論。這裏有一件事在我腦海中浮出水面..請讓我知道如果這將導致任何問題（因此我不太熟悉網絡基金會） 1）我將掛載一個文件夾（說folder1）與項目S3安裝軟件的幫助 2）然後，我將準備另一個文件夾（單獨安裝一個S3）（比如說folder2）..這將同步S3掛載的文件夾。而folder2將我的項目訪問URL。 3）我將定期將掛載的文件夾同步到另一個文件夾中（例如間隔1小時） –

雖然我在s3fs掛載的捲上遇到了rsync等工具的問題，但它可能正常工作。您也可以使用's3cmd'的同步選項。 – datasage

我想推薦看看新項目RioFS（用戶空間S3文件系統）：https://github.com/skoobe/riofs。這個項目是「s3fs」的替代方案，與「s3fs」相比的主要優勢是：簡單性，操作速度和無錯代碼。目前該項目處於「測試」狀態，但它已經在幾個高負載文件服務器上運行了很長一段時間。

我們正在尋求更多的人加入我們的項目並幫助進行測試。從我們這邊，我們提供快速的錯誤修復，並會聽取您的請求以添加新功能。

關於你的問題：

我不太清楚怎麼做S3FS可與緩存文件，但在我們的項目中，我們儘量避免執行額外的I/O操作。

請試試看，讓我知道如何RioFS適合你！

來源

2013-07-29 09:55:48 Paul

你好Wizzard，讓我檢查RioFS ..我會讓你知道如果我會發現它的任何問題。 –

AWS：S3FS AMI和負載均衡器高I/O問題

回答

相關問題