Q

星火匿名函數字節碼

2016-11-28 70 views 0 likes

0

我對這些是辦法看到，已以星火shell環境被創建爲[238]如星火匿名函數字節碼

org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[238]匿名類的字節碼好奇。

2016-11-28 Tuan Do

+0

爲什麼您需要字節碼？你想達到什麼目的？ –

+0

原因主要是好奇心。在Spark Web UI上檢查DAGScheduler有時會給我一個3個匿名類的鏈，只是爲了一個簡單的'.map'。我覺得列出這些匿名課程沒有提供任何細節是沒用的。 –

A

回答

0

MapPartitionsRDD[238]意味着這是在此上下文中創建的第239個RDD（從0開始）。這並不意味着創建了匿名類。

SparkContext保存關於此上下文中RDD數量的信息

2016-11-29 23:15:31

相關問題