在代碼中配置和部署Lambda流水線

Question

我想知道是否有任何AWS服務或項目允許我們在代碼中使用AWS Lambdas配置數據流水線。我正在尋找像下面這樣的東西。假設有一個庫稱爲pipeline

from pipeline import connect, s3, lambda, deploy 
p = connect(s3('input-bucket/prefix'), 
      lambda(myPythonFunc, dependencies=[list_of_dependencies]) 
      s3('output-bucket/prefix')) 
deploy(p) 

當然可以有這種想法的許多變化。這個用例假定只有一個s3桶用於例如可能有一個輸入s3桶的列表。

這可以通過AWS Data Pipeline完成嗎？我有（快速）閱讀的文檔說Lambda用於觸發管道。

Answer 1

我認爲最近可用的是最新發布的Lambda Step Functions中的狀態機功能。有了這些，您可以協調多個轉換數據的步驟。我不相信它們支持標準事件源，所以你必須創建一個標準的lambda函數（可能使用Serverless Application Model）從S3讀取並觸發你的狀態機。