是joinWithCassandraTable（）懶嗎？

Question

我真的使用Sprak 1.2.1 spark-cassandra-connector：

//join with cassandra 
val rdd = some_array.map(x => SomeClass(x._1,x._2)).joinWithCassandraTable(keyspace, some_table) 
println(timer, "Join") 

//get only the jsons and create rdd temp table 
val jsons = rdd.map(_._2.getString("this")) 
val jsonSchemaRDD = sqlContext.jsonRDD(jsons) 
jsonSchemaRDD.registerTempTable("this_json") 
println(timer, "Map") 

輸出是：

Timer "Join"- 558 ms 
Timer "Map"- 290284 ms 

我猜 「joinWithCassandraTable（）」 函數是懶惰的，如果是這樣，什麼是火了向上？

Answer 1

實際上這裏會觸發評估的部分是sqlContext.jsonRDD。既然你不提供schema它必須實現jsons才能推斷出來。

joinWithCassandraTable是有點相似，因爲它必須連接到Cassandra並獲取所需的元數據。請參閱Apache Spark: Driver (instead of just the Executors) tries to connect to Cassandra