10
無論數據量有多大，一個批處理間隔的數據是否只生成DStream中的一個且只有一個 RDD？DStream爲批處理間隔生成多少個RDD？
A
回答
8
是的，每個批處理間隔只有一個RDD，在每個批處理間隔產生，與記錄數無關（包含在RDD中 - 內部可能有零個記錄）。
如果沒有，並且RDD創建以元素數爲條件，則不會有同步（微批處理）流，而是一種異步處理的形式。
0
在Spark Streaming Programming Guide - Discretized Streams (DStreams)，有：
每個RDD在DSTREAM含有一定的間隔數據
相關問題
- 1. DStream的RDD是否一次性爲整批間隔創建整個數據？
- 2. Spark將一個DStream分成幾個RDD
- 3. 向DStream中的批量RDD添加新元素RDD
- 4. 獲取批處理間隔的時間
- 5. Spark Streaming - 批處理間隔與處理時間
- 6. Spring批處理 - 使用多個字符作爲分隔符
- 7. Spark Streaming DStream元素vs RDD
- 8. SleepEx期間處理多少個APC？
- 9. 跟蹤我們在生成器中處理多少個元素
- 10. 在apache-spark RDD中處理多個'行'
- 11. 用於kafka主題後處理的spark-streaming批處理間隔
- 12. 生成一個批處理文件％*作爲參數的
- 13. Spark中的RDD和批處理之間的區別？
- 14. DStream中的列表處理
- 15. spring批處理和jrecord生成ebcedic
- 16. 批處理 - 生成文件名
- 17. 批處理文件生成文件
- 18. 多個批處理命令
- 19. 創建一個批處理以啓動多個批處理
- 20. 執行多個批處理文件後，同時完成批處理文件
- 21. 爲pyspark生成單個json文件RDD
- 22. 以5秒爲間隔生成時間
- 23. 動態處理多個批處理文件並使用Spring批生成相應的輸出文件
- 24. 如何在Spark Streaming中的多個批處理間隔中傳輸數據流
- 25. 使用NServiceBus如何處理多個消息作爲批處理？
- 26. 如何將RDT數量的DStream轉換爲單個RDD
- 27. C＃控制檯調用批處理多個批處理文件
- 28. Spring批處理 - 如何生成一個批處理作業的輸出文件作爲excel表
- 29. 如何讓每個示例在Tensorflow中生成多個批處理條目？
- 30. spring批處理框架需要多少個jdbc連接