帶火花的懶惰卡桑德拉加載

Question

我想知道是否是一個很好的做法，以懶惰模式加載cassandra表然後使用where子句。

例如：

Lazy val table = sparkContext.cassandraTable[Type](keyspace,tableName) 

---代碼的另一部分---

table.where("column = ?",param) 

謝謝！

Answer 1

默認情況下，所有的RDD都是懶惰的。直到你打電話，他們纔會真正做任何事情。所以不要添加懶惰，因爲這隻會延遲圍繞RDD創建元數據，而實際上並不影響執行。

例

val table = sparkContext.cassandraTable[Type](keyspace,tableName) 
val tableWithWhere = table.where("x = 5") 
val tableTransformed = table.map(x:Type => turnXIntoY(x)) 
//nothing has happened in C* or Spark on executors yet 
tableTransformed.collect // This causes spark to start doing work