DynamoDB備份到S3使用DataPipeline

我試圖建立一個pipline爲backuping DynamoDB 我差點就...... 我沒有默認VPC，我不能改變DynamoDB備份到S3使用DataPipeline

備份任務不能夠找到我使用該區域在系統日誌我收到以下錯誤：

2016-04-11 08:53:32,444 WARN org.apache.hadoop.dynamodb.DynamoDBUtil (main): Exception when attempting to get AWS region information. Will ignore and default to us-east-1

這導致標準錯誤：

Exception in thread "main" java.lang.RuntimeException: Could not lookup Table dev_user in DynamoDB.

我的部分管道定義：

{ 
    "objects": [ 
    { 
     "output": { 
     "ref": "S3BackupLocation" 
     }, 
     "input": { 
     "ref": "DDBSourceTable" 
     }, 
     "maximumRetries": "2", 
     "name": "TableBackupActivity", 
     "step": "s3://dynamodb-emr-#{myDDBRegion}/emr-ddb-storage-handler/2.1.0/emr-ddb-2.1.0.jar,org.apache.hadoop.dynamodb.tools.DynamoDbExport,#{output.directoryPath},#{input.tableName},#{input.readThroughputPercent}", 
     "id": "TableBackupActivity", 
     "runsOn": { 
     "ref": "EmrClusterForBackup" 
     }, 
     "type": "EmrActivity", 
     "resizeClusterBeforeRunning": "true" 
    }, 
... 
    { 
... 
     "coreInstanceCount": "1", 
     "releaseLabel": "emr-4.5.0", 
     "masterInstanceType": "m3.xlarge", 
     "type": "EmrCluster", 
     "terminateAfter": "1 Hour", 
     "name": "EmrClusterForBackup", 
     "coreInstanceType": "m3.xlarge", 
     "id": "EmrClusterForBackup", 
     "region": "eu-west-1" 
    }, 
    { 
     "readThroughputPercent": "#{myDDBReadThroughputRatio}", 
     "name": "DDBSourceTable", 
     "id": "DDBSourceTable", 
     "type": "DynamoDBDataNode", 
     "region": "eu-west-1", 
     "tableName": "dev_user" 
    } 
    ], 
    "parameters": [ 
... 
    { 
     "default": "eu-west-1", 
     "watermark": "eu-west-1", 
     "description": "Region of the DynamoDB table", 
     "id": "myDDBRegion", 
     "type": "String" 
    } 
    ], 
    "values": { 
    "myDDBRegion": "eu-west-1", 
    "myDDBTableName": "dev_user", 
    "myDDBReadThroughputRatio": "0.25", 
... 
    } 
}

來源

2016-04-11 Kamil G

我可以得到您的管道ID嗎？

也可以指定resizeClusterBeforeRunning爲「false」並再次嘗試。

感謝

來源

2016-04-12 00:18:17 Junren

ID = df-1032751PQF9X1MM1G3X 爲什麼調整大小會改變什麼？無論如何嘗試過，並沒有工作。仍然無法爲EmrActivity設置適當的區域 –

我不確定導致此問題的原因。您可以嘗試使用舊版本的發佈標籤集羣，或者使用數據管道模板將DDB導出到使用AMI版本集羣的s3。我曾嘗試使用數據管道模板，它對我來說工作正常。 – Junren

有一個在AWS的錯誤，也沒有可能的方式，使其在一個私人子網工作。要使用管道進行dynamodb備份，您必須在公有子網中進行設置。

來源

2016-04-14 11:30:41

DynamoDB備份到S3使用DataPipeline

回答

相關問題