0
我可以使用Kafka客戶端API編寫Spark 1.5客戶端以從KAFKA 0.9或0.10獲取消息並處理它們？ 如果我不能，那麼Spark可以用作處理引擎來獲取消息並應用聚合和統計建模來產生最終輸出的最佳方式是什麼？Spark 1.5作爲KAFKA 0.9或0.10的客戶端
A
回答
1
請找官方火花文檔你的答案..
這是火花與卡夫卡之間的集成的火花爲例1.5.2
http://spark.apache.org/docs/1.5.2/streaming-kafka-integration.html
+0
謝謝......它沒有提到Apache KAFKA版本。其次，如果我使用Spark Streaming，那麼在應用我的邏輯進行聚合和建模之前，我最初應該在哪裏存儲消息？ – Farrukhmuneer
相關問題
- 1. Datamapper 0.9.x或0.10.x？
- 2. Kafka 0.10是否與Spark 1.6.2兼容？
- 3. Tensorflow：RC 0.10 3X慢於0.9
- 4. 爲Kafka客戶端啓用SSL
- 5. 連接到Apache Zookeeper的Apache Kafka客戶端客戶端：EndOfStreamException
- 6. 作爲客戶端的SOAP或REST
- 7. kafka-0.9 cann't consumer data
- 8. Kafka Consumer - Java（0.9 API）
- 9. 帶選擇器的Apache Kafka客戶端？
- 10. WPF或ASP.NET作爲WCF客戶端
- 11. kafka Mirrormaker工具[kafka 0.10版]錯誤
- 12. kafka-log4j-appender 0.9不起作用
- 13. 如何使用from_json與kafka connect 0.10和Spark結構化流？
- 14. 解決客戶端和客房 - 從socket.io 0.9遷移到+ 1.x
- 15. 將JMS客戶端連接到Apache Kafka
- 16. 是否有Kafka Connect Python客戶端？
- 17. 在kafka-python客戶端使用消息
- 18. Flink + Kafka 0.10：如何使用Kafka消息時間戳創建表作爲字段？
- 19. JBoss作爲RMI客戶端
- 20. AngularJS作爲SOAP客戶端
- 21. socket.io作爲客戶端
- 22. asp.net驗證客戶端或客戶端或服務器端
- 23. Confluent 2.0.0中的端口改動麻煩Kafka 0.9
- 24. 由於InvalidClassException，Spark Kafka Streaming作業失敗
- 25. Azure Web服務作爲客戶端使用客戶端證書作爲客戶端
- 26. Spark + Kafka streaming NoClassDefFoundError kafka/serializer/StringDecoder
- 27. 如何將此客戶端作爲多線程客戶端？
- 28. android或iphone客戶端如何工作？
- 29. 將新用戶作爲openerp客戶端
- 30. Spark上的Hive無法正常工作 - 創建Spark客戶端失敗
是你的卡夫卡kerberosed？ – hadooper