我已經收到使用jnetpcap的實時數據包。任何人都可以請告訴我如何使用火花流來從實時數據包中提取數據包標頭和其他細節?使用火花流處理實時數據包
回答
如果您已通過spark streaming programming guide閱讀,您會發現可以爲您的流實施自定義Receiver。但是,實際指南中只有很少的示例,您必須閱讀頁面底部指定的示例和javadoc。
This project是一個自定義接收器,其基本上是:
- 擴展
Receiver
- 器具
onStart
和onStop
方法 - 呼叫
store
方法與所述數據通過所述流
它應該如此簡單。包的哪些部分需要解析,以及您自己的決定可能如何。根據編程指南,您只需在源代碼級提供軟件包並編寫自己的變壓器等。
我使用jnetpcap庫在接收器中收到了數據包。但是如何在每個數據包上使用RDD操作提取數據包細節? – user3823859 2014-09-25 09:18:45
這是通用流處理的東西。您的接收器只是在可能的情況下存儲原始數據,然後變壓器接收原始格式的數據並將其轉換爲您接下來需要的任何步驟。這個問題是關於如何編寫Receiver部分或jnetpcap軟件包的結構? – 2014-09-25 09:46:34
問題是如何轉換原始格式的數據? – user3823859 2014-09-29 04:20:10
- 1. 使用分組處理火花數據
- 2. 使用火花流
- 3. 使用火花流
- 4. 火花處理數據混洗嗎?
- 5. 卡夫卡數據處理沒有風暴/火花流媒體
- 6. 是否可以使用kafka獲取GoogleAnalytics數據並通過火花流處理?
- 7. 使用火花與笨處理更新的火花
- 8. 低火花流處理器CPU使用率
- 9. 使用wholeTextFiles進行火花數據處理
- 10. 使用火花數據幀
- 11. 火花UDF空處理
- 12. 如何使用火花流實時更新elasticsearch文檔?
- 13. 火花流
- 14. 火花流update_state_by_keys
- 15. 火花流
- 16. 蟒蛇發送csv數據火花流
- 17. 使用Python實時處理數據
- 18. 使用angularJs處理實時數據
- 19. 具有大型實時數據的Flex火花數據網格
- 20. 火花流聚合
- 21. 火花流文件流
- 22. 火花流功能通過異常火花提交時間
- 23. 嘗試理解火花流工作
- 24. 星火流處理時間與總延時VS處理延遲
- 25. 如何通過火花流處理多個.gz文件?
- 26. 實時批處理數據處理
- 27. 使用RDD的火花流上下文
- 28. 在java中使用ConstantInputDStream的火花流
- 29. 實時處理射頻流
- 30. 火花流爲時間序列處理從UDP套接字(由時間間隔劃分的數據)
我在我的代碼中有以下行。 val lines = KafkaUtils.createStream(ssc,zkQuorum,group,topicpMap).map(_._ 2)如何將此流「行」反序列化爲原始對象?通過將類擴展到可串行化來實現kafka生產者的串行性 – user3823859 2014-09-30 16:38:35