1
我們有非常複雜的管道，我們需要編寫和安排。我看到Hadoop生態系統爲此提供了Oozie。當我在Mesos或Standalone上運行Spark並且沒有Hadoop集羣時，基於Spark的作業有哪些選擇？什麼是oozie等同於Spark？
A
回答
0
與使用Hadoop，它是很容易的事情連鎖星火。所以編寫一個Spark Scala腳本可能就足夠了。我的第一個建議是綁定。
如果你想保持它像SQL一樣，你可以試試SparkSQL。
如果你有一個非常複雜的流程，那麼值得看一下Google數據流https://github.com/GoogleCloudPlatform/DataflowJavaSDK。
0
Oozie可以用於紗線的情況下， 對於spark沒有內置的調度程序可用，因此您可以自由選擇任何在集羣模式下工作的調度程序。
對於Mesos我覺得Chronos的將是正確的選擇，更多信息的Chronos
相關問題
- 1. 是什麼KEYEVENTF_SILENT等同於
- 2. 什麼是StarTeam等同於'git log'
- 3. 什麼是_wsystem等同於Linux的
- 4. 什麼是Windows的「pidof」等同於Linux？
- 5. 什麼是「捲曲--tlsv1」等同於PHP
- 6. 什麼是Webform的「UrlAuthorizationModule.CheckUrlAccessForPrincipal」等同於MVC？
- 7. 爲什麼不是[\\ s *]等同於\\ s *？
- 8. 什麼是weka等同於caret的rfe？
- 9. Derby等同於CREATE OR REPLACE是什麼？
- 10. 什麼是XDocument等同於XmlDocument.ImportNode？
- 11. 什麼是CoreText等同於AppKit的NSObliquenessAttributeName？
- 12. 什麼是Subversion等同於TFS擱置？
- 13. 什麼是Visual Basic等同於Java的「！」？
- 14. Oozie和Spark整合
- 15. Hortonworks Oozie Spark動作
- 16. Hortonworks Oozie Spark Action - NullPointerException
- 17. 什麼是jQuery等同於此，它有什麼作用？
- 18. 什麼是或等於
- 19. 什麼是Spark UDFS？
- 20. 對於@Bean，等同於factory-method =「aspectOf」是什麼？
- 21. 什麼是date_select等同於form_tag而不是form_for？
- 22. 什麼等同於Chrome中的mozPaintCount？
- 23. 什麼等同於Linux中的getch（）＆getche（）？
- 24. OOzie Spark：代碼101錯誤
- 25. Oozie的>什麼是異步的動作和同步動作
- 26. Spark中的metastore是什麼？
- 27. 長和int等於，等於什麼（）
- 28. 什麼是MicroMeter等同於Prometheus simpleclient收集器？
- 29. 什麼是Linux/POSIX等同於MEM_TOP_DOWN的VirtualAlloc？
- 30. 什麼是scalaz流等同於播放框架的Enumerator.fromCallback