14
我正在使用Spark 1.3.0和Spark Avro 1.0.0。 我從the example on the repository page工作。這下面的代碼工作以及字符串上的過濾器火花DataFrame包含
val df = sqlContext.read.avro("src/test/resources/episodes.avro")
df.filter("doctor > 5").write.avro("/tmp/output")
但是,如果我需要看看是否doctor
字符串包含一個子呢?由於我們在字符串內寫入我們的表達式。我該怎麼做一個「包含」?
是上面的scala代碼嗎?看起來像scala不喜歡$符號。我導入了'import org.apache.spark.sql.functions.lit' –
Scala。爲了使'$'工作,你需要'import sqlContext.implicits._'。你可以用'df(「foo」)''或'org.apache.spark.sql.functions.col(「foo」)'替換它。 – zero323
太棒了!非常感謝 –