1
我想在AWS lambda函數中使用Spark-sumit REST API來提交jobs.I已經查看了Spark-Jobserver，但看起來需要將它部署在\ n Ec2實例中，但我想使用Spark REST接口使用AWS Lambda函數提交作業。請提示。AWS lambda函數提交spark工作
A
回答
2
您可以將步驟從lambda添加到EMR羣集。該步驟可以是shell腳本，配置單元或火花作業。
，有助於做到這一點是
emr.addJobFlowSteps(params, function(err, data)
我使用的獨立集羣添加可用的鏈接API調用電子病歷 http://docs.aws.amazon.com/AWSJavaScriptSDK/latest/AWS/EMR.html
相關問題
- 1. AWS Lambda函數+ CloudWatch
- 2. 如何在java類（lambda函數）中使用AWS批處理提交批作業
- 3. 無法從oozie提交spark工作
- 4. 作爲spark工作提交時，Spark RDD映射中的NullPointerException
- 5. AWS Lambda/Aws批處理工作流程
- 6. lambda函數不工作
- 7. AWS lambda函數錯誤
- 8. AWS lambda函數部署
- 9. AWS Lambda重命名函數
- 10. AWS lambda函數一生
- 11. AWS Lambda函數寫入S3
- 12. AWS Lambda函數限制
- 13. AWS lambda函數問題
- 14. AWS lambda函數上傳
- 15. Aws lambda函數失敗 - Python
- 16. AWS Lambda函數超時
- 17. AWS Lambda函數位置
- 18. 「打包的AWS Lambda函數
- 19. aws lambda vs azure函數
- 20. java中的AWS Lambda函數
- 21. 從Lambda同時提交EMR中的Spark作業
- 22. AWS lambda函數在超時錯誤後停止工作
- 23. sklearn不能在aws lambda函數中工作。部署包問題
- 24. JQuery提交函數有時工作
- 25. 使用AWS Hadoop集羣設置的Spark作業提交
- 26. 參數傳遞給AWS lambda函數
- 27. spark-ec2 --copy-aws-credentials不工作
- 28. AWS Lambda與S3一起工作
- 29. 如何使用NodeJS提高AWS Lambda函數的性能？
- 30. Distinct（）函數在Spark中如何工作？
林不使用電子病歷的功能.. – shiv455
你有集羣中的作業服務器？ – Achyuth
我沒有使用Spark jobserver，因爲我說我想使用AWS lambda和spark REST接口 – shiv455