AWSDatapipeline備份/還原和驗證

我是AWS數據管道中的新手，我需要將dynamoDb備份到S3存儲桶，然後從備份恢復到某些恢復的dyanmoDb表，然後驗證記錄，這意味着檢查記錄數S3備份並恢復dynamoDb表。AWSDatapipeline備份/還原和驗證

有人請讓我知道如何做到這一點？我知道已經有數據管道中的模板將Dynamo中的記錄複製到S3和S3到發電機。

但我想從一個有經驗的人那裏做同樣的數據管道的所有備份，恢復和驗證，主要是恢復和驗證步驟。

任何幫助將是寶貴的

來源

2014-01-14 Varun

可以基本上只是兩個模板有一個結合在一起後，其他獲得您所需的管道盡可能備份和恢復去（如果你不知道該怎麼做，您可以設置另一個活動在當前數據管道完成後在數據管道中執行）。

至於驗證，理論上可以將它作爲shell命令行爲的一部分，但我建議不要這樣做。 Shell命令行爲對於設置和調試來說非常複雜，所以你最好運行一些其他進程來處理驗證。

（我是認真的shell命令的活動難以與你得到很少的洞察力，工作到他們是如何運行的，其運行過程中會發生什麼，以及運行的狀態。）

來源

2014-01-16 01:30:47

感謝戈登！ !!，我以同樣的方式思考一種活動，就像你推薦的那樣。僅供參考，我開始使用現有的模板從dynamoDb備份到S3，並從S3恢復到dynamoDb，並且我正在考慮使用hiveactivity（雖然我也是新手）來進行驗證。 – Varun

嗨@G Gordon Worley III，順便說一句，現在我必須將文件從一個S3存儲桶複製到另一個S3存儲桶，我使用了現有的copytemplate，但它給了我java堆錯誤。所以現在我正在考慮使用EMRActivity爲此和http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/UsingEMR_s3distcp.html，但一些我如何得到一些格式錯誤。我已經在EMRActivity「/ home/hadoop/lib/emr-s3distcp-1.0.jar， - args'--src，s3：// ， - dest，s3：// '「如果通過修改你有沒有做過這方面的工作。 – Varun

AWSDatapipeline備份/還原和驗證

回答

相關問題