amazon-data-pipeline

1熱度

1回答

AWS datapipeline副本失敗，CommunicationLinkFailure

我有一個從RDS到S3複製數據並運行，每15 minute.It的AWS數據管道運行正常，但有錯誤間歇性失敗無法建立連接爲jdbc：mysql的：//host.us-west> 1.rds.amazonaws.com:3306/db通信鏈路故障我檢查我的MySQL服務器的配置和它看起來罰款。 wait_timeout | 28800 connect_timeout | 10 max_conne

2熱度

1回答

帶有表達式和日期函數的AWS數據管道調度

我想每小時安排一次AWS Data Pipeline作業。我想用這個在S3上創建每小時分區。喜歡的東西： s3://my-bucket/2016/07/19/09/ s3://my-bucket/2016/07/19/10/ s3://my-bucket/2016/07/19/11/ 我使用表達式我EMRActivity此： s3://my-bucket/#{year(minusHours

1熱度

2回答

使用AWS Datapipeline將CSV轉換爲導入DynamoDB所需的格式

使用Data Pipeline（https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-importexport-ddb-part1.html）將S3中的數據導入Dynamo DB表的AWS文檔引用S3文件（s3：// elasticmapreduce/samples/Store/ProductCatalog ），這是這種

0熱度

1回答

如何引用亞馬遜數據管道名稱？

是否可以在數據管道本身內使用Amazon Data Pipeline的名稱作爲變量？如果是的話，你怎麼能這樣做？

0熱度

2回答

AWS提供從另一個帳戶訪問假定的角色以訪問我帳戶中的S3

我試圖實現的目標是將S3中的對象從一個帳戶（A1 - 不受我控制）複製到另一個帳戶中的S3（A2 - 受控由我）。對於A1中的OPS，我提供了一個角色，我可以使用boto3庫。 session = boto3.Session() sts_client = session.client('sts') assumed_role = sts_client.assume_role( Rol

0熱度

1回答

Datapipeline和Mule

哪個版本的MULE將與AWSSDK for Datapipeline兼容，我們需要通過企業版Mule激活Datapipeline。自從Cloud以來，我們可以使用3.6以上的任何mule版本。請幫助我們。現在Jar版本正在引發問題，例如NoSuchmethod錯誤或字段未找到。

2熱度

1回答

AWS數據管道 - 嘗試重新運行失敗的活動時出錯

我的數據管道有許多活動（Shellcommandactivity），其中一個由於程序問題而失敗。但是，當我嘗試修復程序化問題後重新運行失敗的活動。失敗&重新運行模式爲 - 級聯&計劃類型爲按需。我得到下面的錯誤給定的輸入無效：在完成的對象上不允許設置狀態'RERUN'Activity2（ShellCommandActivityId_vGL6K）（Service：DataPipeline; Sta

1熱度

2回答

AWS Data Pipeline - 任務執行器不保持活動

我正在嘗試在Amazon Linux EC2實例（ami-6869aa05）上運行任務執行器以執行AWS Datapipeline命令行任務。我已成功創建管道，通過SSH通過終端連接到實例，安裝並啓動Task Runner，並能夠在第一次激活時成功運行管道。隨後的管道工作被卡住「等待跑步者」。查看管道的依賴關係時，它顯示工作組未設置。我使用以下CLI條目來啓動任務運行器。 ** S3取出水桶和

1熱度

1回答

（使用workergroup）錯誤

這是錯誤的現有EMR集羣上執行HiveActivity： ActivityFailed：AmazonServiceException：AmazonElasticMapReduce：AccessDeniedException異常用戶：ARN：AWS：IAM :: 833376745199：用戶/ data_analytics不授權執行：elasticmapreduce：DescribeCluste

0熱度

1回答

如何使用ShellCommandActivity（AWS Data Pipeline）中的數據管道在SQL Server中調用存儲過程

我知道您可以使用下面的腳本調用MySQL過程，但對於SQL Server可以使用相同的過程嗎？ mysql --host host_url --port port_number --user username --password password --execute="CALL stored_proc_name; 我有SQL Server Express，並且需要設置每天運行的過程。這是對R