dask.dataframe的to_parquet支持服務器端加密？

Question

我們公司有要求對S3中靜止的所有數據進行加密。通常，當我們上傳S3對象，我們做這樣的事情：

aws s3 cp a.txt s3://b/test --sse 

我玩dask.dataframe，想將我的數據集的一個導出到存儲在S3實木複合地板，但無法找到任何選項來打開加密。任何想法如何使用dask.dataframe應用加密？

Answer 1

目前尚未在s3fs中實現，dask用於寫入S3的後端。通過在S3FileSystem的構造函數中包含（一些）以下參數，並將它們包含在boto3 s3client上的少量調用中，不難添加;那麼調用to_parquet()時參數將包含在storage_options=中。

ServerSideEncryption='AES256'|'aws:kms', 
SSECustomerAlgorithm='string', 
SSECustomerKey='string', 
SSEKMSKeyId='string', 

還應該有一個選項來設置這些每個文件以及在文件系統實例上默認設置。隨意嘗試公關！請注意，SSE可能未在moto中實施，因此測試使用可能很困難。

請注意，對於您的情況，其中一些值可能是由aws命令從標準位置（如~/.aws/）讀取的。