從aws Glue Script調用存儲過程

Question

ETL作業完成後，在AWS Glue腳本中調用存儲過程的最佳方式是什麼？

我使用PySpark從S3獲取數據並存儲在臨時表中。在這個過程之後，需要調用一個存儲過程。該存儲過程將數據從臨時表加載到相應的MDS表中。

如果我必須在ETL作業完成後調用存儲過程，那麼最好的方法是什麼？如果我考慮AWS lambda，有沒有什麼方法可以在ETL之後通知lambda。

Answer 1

您可以使用boto sdk在膠水ETL作業結束時關閉您的lambda。由於您正在寫入臨時表，您還需要在連接的子網上有一個用於boto調用的NAT網關。此鏈接中的示例使用boto來發起ECS任務，這將是一個類似的過程：https://github.com/full360/glue-sneaql-demo/blob/master/Glue-Job-Script。