amazon-data-pipeline

1熱度

2回答

我有一個AWS數據管道內置並不斷收到EC2資源的TerminateAfter字段丟失警告。我的DataPipeline被設計爲在整個過程中不同時間使用相同的實例，每個小時運行一次（我還沒有運行管道）。因此，如果我將Terminate After字段設置爲3分鐘，我想知道EC2實例在每次啓動3分鐘後終止。或者EC2實例在管道中最後一次使用後3分鐘終止？

2熱度

1回答

AWS數據管道RedshiftCopy活動不能找到合適的驅動程序

我已經建立了在AWS數據管道一RedshiftCopy活動，但它一直與以下錯誤而失敗： java.lang.RuntimeException: java.sql.SQLException: No suitable driver found for <REDACTED> at private.com.google.common.base.Throwables.propagate(Unknown So

0熱度

1回答

在AWS DataPipeline中創建電子郵件警報

我知道AWS Data Pipeline支持並允許SNS警報，但是如果查詢返回任何內容，我想要發送警報或電子郵件。基本上，我想運行一個非常簡單的選擇查詢的SQLActivity，如果該查詢返回任何內容，我想發送一個電子郵件警報。這可能嗎？如果是這樣，我可以發送帶有返回的數據集的電子郵件嗎？

0熱度

2回答

在DynamoDB表備份期間限制AWS數據管道使用的EC2資源

我需要每隔幾個小時備份6個DynamoDB表。我從模板創建了6個管道，並且它運行得非常好，只是它創建了6個或更多的虛擬機，這些虛擬機大部分都處於運行狀態。這不是我能負擔得起的經濟。有沒有人有過優化這種場景的經驗？

1熱度

2回答

使用數據管道將文件移動到AWS S3

我們遇到了由Java代碼生成的文件的問題，這些文件在本地編寫，然後由數據管道複製到S3。該錯誤提及文件大小。我本以爲如果需要分段上傳，那麼管道就會知道這一點。我想知道是否有配置管道的方法，以便它確實使用多部分上傳。因爲否則當前對S3不可知論的Java代碼必須直接寫入S3，或者必須完成它以前的工作，然後使用多部分上傳 - 事實上，我認爲代碼只會直接寫入S3而不用擔心上傳。任何人都可以告訴我，如果

6熱度

1回答

AWS Datapipeline RedShiftCopyActivity - 如何指定「列」

我想使用RedShiftCopyActivity和一個數據管道將一串csv文件從S3複製到Redshift。只要csv結構匹配表結構，這工作正常。在我的情況下，csv的列數少於表的數量，然後RedShiftCopyActivity在stl_load_errors中出現「Delimiter not found」錯誤。我想使用redshift copy命令「columns」選項。這樣我可以使它工作

1熱度

1回答

具有多個輸入的AWS數據管道活動

作爲Amazon AWS數據管道的一部分，我使用兩個非分離的S3數據節點作爲輸入來配置一個配置單元活動。我想要的是能夠在活動上設置兩個腳本變量，每個腳本都指向一個輸入數據節點，但我無法獲得正確的語法。隨着單輸入，我可以寫下面的，它會工作得很好： INPUT_FOO=#{input.directoryPath} 當我添加第二個輸入，我碰上了如何引用他們，因爲他們現在輸入數組的一個問題，正如你在下

0熱度

2回答

從亞馬遜數據管道中的管道調用管道

我的團隊目前正在尋找一個相當昂貴的ETL工具的替代品，目前我們正在使用這個工具作爲一個美化的調度器。我們使用自己的Python代碼改進了ETL工具提供的任何集成，所以我真的只需要它的調度能力。我們正在考慮的一個選項是數據管道，目前我正在試用。我的問題是：想象一下，我們有兩個數據集加載 - 產品和銷售。這些數據集中的每一個都需要一些加載步驟（獲取源數據，調用python腳本進行轉換，加載到Reds

0熱度

2回答

SSH到ec2實例並執行

我有一個數據管道應用程序，我需要回應。當它結束時，我SSH到一個EC-2實例並執行一個腳本。數據管道完成後，對該框執行ssh的最佳方式是什麼？我是否應該使用lambda函數並讓它監聽數據線完成並將ssh發送到該框並執行腳本？我無法從劇本中刪除劇本。

1熱度

3回答

是否可以創建一個可以手動觸發參數的aws數據管道？

是否有可能創建一個我可以手動運行的AWS數據管道，當我觸發它時，我希望傳遞參數來執行。