s3fs和Python os.walk

Question

我在想方設法從S3存儲桶讀取圖像。現在，我的設置是使用s3fs掛載存儲桶，然後使用帶有os.walk的python腳本遍歷每個單獨的圖像，並使用numpy對它們進行一些操作。

然而，

os.walk("mnt/") 

輸出是什麼！該命令沒有看到安裝的驅動器中的任何文件，但如果我手動找到圖像

plt.imread("mnt/path/to/file") 

我收到圖像。我正在努力解決這個問題。有任何想法嗎？

Answer 1

來自S3的安裝存儲桶的行爲不像文件系統中的普通文件/目錄，因此諸如os.walk之類的語句不能像您期望的那樣工作。你最好的選擇是使用一個庫來從Python內部搜索並與你的S3存儲桶進行交互。

我建議看看boto，它有一堆用於與AWS接口的工具。還請查看AWS Python SDK。

寶途：https://github.com/boto/boto AWS SDK的Python：https://aws.amazon.com/sdk-for-python/