使用akka流vs spark流進行流處理的優點/缺點是什麼?比如,建立在背壓,性能,容錯,內置轉換,靈活性等方面。我不是要求akka與火花利弊嚴格流組件。另外我不會在引擎蓋框架結構上有所不同。Akka Stream vs Spark Stream
5
A
回答
2
阿卡流和Spark流來自2個不同的土地。不要讓這個詞「流」混淆你。
Akka流實現了一些被稱爲被動聲明的東西,它非常適合實現真正的低延遲,並且提供了很多運算符來輕鬆地在流中編寫聲明式轉換。更多關於這個https://doc.akka.io/docs/akka/2.5.4/scala/stream/stream-introduction.html#motivation。
從2.2開始的Spark Streaming aka結構化流仍然是處理大量數據(大數據)的微批處理方法。事件被收集起來,然後每隔幾秒鐘小批量處理一次。
Akka流基本上不是分佈式的,不會跨集羣擴展,不像Spark.Akka流使用Akka的actor模型來實現併發。
Akka流是一個工具包,Spark是一個框架。 PS:即使幾個月前我也有同樣的問題。花了一段時間纔得到我的答案。希望它有幫助。
相關問題
- 1. Akka Stream回調
- 2. Akka Stream DSL圖KillSwitch
- 3. Stream Flush vs FlushAsync
- 4. Stream vs Raw Bytes
- 5. 流內的Akka-Stream流
- 6. Marc21 Binary Decoder with Akka-Stream
- 7. 概念:Channel vs Stream
- 8. Java 8 stream vs List
- 9. DataSet.WriteXml(Stream)vs DataSet.WriteXml(Path)
- 10. NSJSONSerialization vs stream based parser
- 11. `gulp.src` vs`vinyl-source-stream`?
- 12. Akka Stream從Spark工作內部寫入kafka
- 13. Azure Storm vs Azure Stream Analytics
- 14. Kafka Stream API vs Consumer API
- 15. 測試組通過akka-stream-testkit
- 16. BinaryWriter(Stream stream)在BinaryWriter.Dispose()上處理流嗎?
- 17. MapR Stream和PySpark
- 18. Apache Spark - Java,Group Live Stream數據
- 19. Spark Direct Stream併發作業限制
- 20. 如何使用Spark Stream中的先前計算結果加入Stream RDD?
- 21. 「Parameter is not valid。At System.Drawing.Bitmap..Ctor(Stream stream)。」
- 22. Collectors.toList()中的LongStream VS Stream的差異
- 23. 處理CryptoStream vs處理底層Stream?
- 24. Spring Cloud Stream + Quartz
- 25. Cloudfront - Stream not Found
- 26. FileStream stream = File.OpenRead(FileName);
- 27. Stream v。SeqView
- 28. Kinect Stream Saving
- 29. Stream Widget like HootSuite?
- 30. Spring Cloud Stream RabbitMQ
很確定Spark是建立在Akka上的,所以你的語法更加簡潔,用戶更友好,內置容錯功能(主管和其他功能),以及Spark的更多功能。如果您有更多的自定義需求,例如在單個羣集上運行具有不同參與者/流的大量不同作業,則應考慮使用Akka over Spark。否則,更多的功能可能是一件好事。這是一個更普遍的答案。 –
我相信Spark在1.5之後離開Akka。 https://issues.apache.org/jira/browse/SPARK-6602 –