谷歌的Hadoop文件系統加密

Question

在正常運行中一個可以提供加密密鑰，以谷歌的存儲API來加密給定存儲桶/ BLOB： https://cloud.google.com/compute/docs/disks/customer-supplied-encryption

這是可能的火花/ Hadoop作業的「對飛」輸出？

說我們要加密的火花的輸出寫入

df.write().format("json").save("gs:///somebucket/output"); 

在https://storage.googleapis.com/hadoop-conf/gcs-core-default.xml沒有辦法指定的加密密鑰。

這可能嗎？

Answer 1

如果您詢問客戶提供的加密密鑰是否在Cloud Dataproc上當前可用，答案是否定的。 Here是Google在休息時加密的當前產品選項列表。

如果您只是想要加密Spark寫入的輸出，您仍然可以使用Google的雲端KMS在應用程序層進行加密。 Here's a codelab這樣做在谷歌雲存儲（這看起來像你在做什麼上面的命令）。 請注意，客戶內容默認在存儲層在Google雲平臺上進行了靜態加密，因此這是另一層保護。