dsx寫入藍色混合對象存儲

-3

bluemix對象存儲是否具有文件夾功能，如亞馬遜s3的容器內。我不確定其他人，但很快從DSX寫入，它在一個容器中變得如此混亂。它就像一臺無法在C：\驅動器下創建文件夾的計算機。它完全混亂。dsx寫入藍色混合對象存儲

由於DSX的主存儲，DSX推動了這種功能。 Bluemix object storage no folder capability

這裏的S3容器，以及如何漂亮，你可以組織一切S3 conatiner

來源

2017-02-15 Vik M

我相信你正在尋找的是這樣子容器的內容，並組織文件。

我認爲對象存儲服務基於Openstack Object Storage，根據Openstack doc，不可能創建嵌套目錄。

https://docs.openstack.org/user-guide/cli-swift-pseudo-hierarchical-folders-directories.html

您可以使用路徑文件名通過寫作時用/分隔條件/讀取文件時，你可以使用這樣的模擬子目錄「SWIFT：//容器名稱。」 + name +'/foldername/fillename.csv' 因此，您使用/foldername/filename.csv編寫的任何內容都將在文件夾名下進行組織。

謝謝， Charles。

來源

2017-02-15 09:00:51

是的，看到它造成的混亂。每件事都在同一根。不知道如果你有50個以上的筆記本寫木地板等，如何處理單個容器中的所有內容。因爲我的圖像顯示這是dsx的一個巨大限制，如果缺失，應該將此功能添加到打開堆棧。目前我正在將所有的寫入移動到s3，因爲文件夾結構易於管理。 –

就限制和問題達成一致，您可以暫時解決此問題，並通過使用df.repartition（1）將數據框或rdd重新分區爲1來限制它創建的文件數，然後將其寫入對象存儲器，以便改爲它寫了很多被分割的文件。它會創建至少2-3個文件，如果你甚至更深入，你可以編寫壓縮編解碼器。注意： - 由於您將所有內容寫入一個分區，因此無法並行讀取它們。 –

謝謝Charles的建議。除了這個問題之外，我真的很感謝你們所做的所有答覆，你們都儘快並願意提供幫助。非常感謝！ –

dsx寫入藍色混合對象存儲

回答

相關問題