emrfs是否支持s3 url中的自定義查詢參數？

Question

是否可以在s3 url中添加客戶查詢參數？

我們想一些自定義元數據添加到S3對象，但希望它是透明的EMRFS

喜歡的東西：

S3：//桶名稱/對象的名稱X -amz-meta標記=魔法標記

那麼在我們PySpark或Hadoop的工作，我們希望這樣寫：

data.write.csv（'S3：//桶名稱/對象的名稱？x-amz-meta-tag = magic-tag'）

在emrfs上嘗試這樣做，表明它將「object-name？x-amz-meta-tag = magic-tag」視爲整個對象名稱，而不是忽略查詢參數。

Answer 1

我不能說閉源EMRFS，但對於ASF s3連接器，答案是「否」。有趣的建議，但;也許你應該考慮把它提交給ASF。當然，這增加了一個新問題：如果現有用戶正在創建文件，那該怎麼辦？在他們的名字 - 如何保持兼容性。