使用distcp將數據從HDFS安全地傳輸到亞馬遜S3

我們希望將我們的Cloudera Hadoop集羣中的HDFS數據備份到Amazon S3。看起來我們可以爲此使用distcp，但不清楚的是數據是否通過加密傳輸複製到S3。使用distcp將數據從HDFS安全地傳輸到亞馬遜S3

有什麼需要配置來啓用它嗎？

2015-02-06 Marco Di Cesare

http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_admin_distcp_data_cluster_migrate.html – 2015-02-07 00:30:39

謝謝。我曾閱讀過該頁面，但似乎並沒有表明distcp在Hadoop和S3之間傳輸數據時是否使用SSL/TLS。 – 2015-02-09 00:06:34

我不認爲S3客戶端加密在Hadoop中可用。

看起來像S3 server side encryption（在S3結束時加密數據）可以從Hadoop 2.5.0配置。

使其能夠在core-site.xml添加以下屬性：約S3服務器端加密Hadoop-10568

<property> 
    <name>fs.s3n.server-side-encryption-algorithm</name> 
    <value> AES256 </value> 
    <description> 
    Specify a server-side encryption algorithm for S3. 
    The default is NULL, and the only other currently allowable value is AES256. 
    </description> 
</property>

更多信息。

來源

2015-02-07 05:39:51 Ashrith

感謝您的回覆 - 我正在尋找的是如何確保數據在傳輸過程中進行加密。換句話說，distcp通過SSL/TLS將數據傳輸到Amazon S3 – 2015-02-09 00:07:42

從我所看到的，默認情況下，傳輸中的加密工作正常。我通過在我的桶上放置一個策略來測試這一點，當securetransport = false時防止putobject。如果securetransport未啓用，則distcp命令將失敗，並顯示403錯誤，所以我相信這是有效的 – nachonachoman 2015-12-04 16:59:55

使用distcp將數據從HDFS安全地傳輸到亞馬遜S3

回答

相關問題