amazon-data-pipeline

3熱度

1回答

我想每天自動化我的配置單元腳本，爲了做到這一點，我有一個選項是數據管道。但問題是，我正在將數據從dynamo-db導出到s3，並使用配置單元腳本來處理這些數據。我在hive-script中給出了這個輸入和輸出，這是問題開始的地方，因爲配置單元必須有輸入和輸出，但是我必須在腳本文件中給它們。我想找到一種方法來自動化這個蜂巢腳本並等待一些想法？乾杯，

0熱度

1回答

什麼用於導出DynamoDb

我想創建一個數據管道，它將從dynamoDB導出數據並將其導入到s3。一切似乎都很好，但有一個問題，因爲，我在dynamoDB上的數據是二進制和管道設置，沒有接受數據類型爲二進制。我該怎麼辦呢？乾杯，

4熱度

2回答

AWS複製S3到RDS

我試圖使用亞馬遜的數據管道，我的錯誤從S3（.csv文件）到RDS（MySQL的）複製： Error copying record Cause: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure The last packet sent successfully to the s

0熱度

2回答

數據管道成功和失敗的亞馬遜SNS配置

我正在使用亞馬遜data pipeline進行某些shell活動的自動化。哪一天會運行一次。所以，我配置了亞馬遜SNS，讓我知道shell活動的最後一次運行是成功還是失敗。如果失敗，請給我發送失敗的原因。所以，我能夠配置SNS發送給我的郵件。但是，我應該如何配置SNS的消息部分，以便在發生故障時向我發送確切的錯誤？另外，如果成功，請發送給我狀態SUCCESS。

3熱度

1回答

Amazon Data Pipeline：ShellCommandActivity何時啓動On Fail Action？

AWS Pipeline如何確定ShellCommandActivity是否失敗，以及何時啓動相應的Fail操作？我可以在腳本中編寫代碼，檢查腳本是否正確完成，然後「告訴」AWS管道該活動已成功完成？

2熱度

1回答

EmrActivity的多個輸入

根據數據管道文檔，EMRActivity步驟命令使用與常規EMR作業不同的格式。下面是一個簡單的例子： /home/hadoop/contrib/streaming/hadoop-streaming.jar,-input,s3://mybucket/folder1/*.gz,-output,s3://output,-mapper=mapper,-reduce=reducer. 比方說，我需要

1熱度

2回答

在AWS Datapipeline EC2資源上安裝軟件

我需要在ShellCommandActivity中使用名爲s3cmd的程序。我怎樣才能做到這一點？我是否必須創建一個新的EC2映像（然後安裝管道所需的所有內容等），並在管道中指定它，或者是否存在可以添加某些內容的現有管道EC2映像？我也試圖通過運行sudo su yum -y install s3cmd 腳本安裝它，其失敗：「須藤：對不起，你必須有一個tty運行sudo的」如果你需要在你的情況下

2熱度

1回答

AWS管道：將本地文件暫存到S3失敗。我們計算的請求籤名與您提供的簽名不匹配

以下是我的設置：我試圖使用DataPipeline將文件從外部Web服務器複製到S3存儲桶。爲此，我使用ShellCommandActivity，它使用腳本將文件下載到管道中指定的Output-Bucket。在腳本中，我使用環境變量$ {OUTPUT1_STAGING_DIR}來處理存儲桶。當然，我在我的管道中把'staging'變成了true。當腳本完成，該活動的狀態變爲「失敗」與以下錯誤

0熱度

1回答

AWSDatapipeline備份/還原和驗證

我是AWS數據管道中的新手，我需要將dynamoDb備份到S3存儲桶，然後從備份恢復到某些恢復的dyanmoDb表，然後驗證記錄，這意味着檢查記錄數S3備份並恢復dynamoDb表。有人請讓我知道如何做到這一點？我知道已經有數據管道中的模板將Dynamo中的記錄複製到S3和S3到發電機。但我想從一個有經驗的人那裏做同樣的數據管道的所有備份，恢復和驗證，主要是恢復和驗證步驟。任何幫助將是寶貴的

0熱度

1回答

Aws Datapipeline：在ShellCommandActivity中列出輸出存儲桶的內容

如何列出Shell腳本中包含在輸出存儲桶中的文件？ ls $ {OUTPUT1_STAGING_DIR} 不起作用，因爲我得到的消息是沒有該名稱的文件或目錄。我相信有一個簡單的方法來做到這一點，但我似乎無法找到解決方案。