如何從Streaming SQL運行WordCount示例（拋出NoSuchMethodError）？

我試圖運行流式SQL（https://github.com/intel-spark/stream-sql）示例wordcount。這反過來使用催化劑項目。我能夠運行 sbt包沒有任何問題。但是，當我確實啓動scala代碼的提交時，我遇到了以下問題。如何從Streaming SQL運行WordCount示例（拋出NoSuchMethodError）？

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.sql.catalyst.trees.UnaryNode$class.children(Lorg/apache/spark/sql/catalyst/trees/UnaryNode;)Lscala/collection/immutable/List; 
    at org.apache.spark.sql.streaming.WindowedPhysicalPlan.children(windowedPlans.scala:39) 
    at org.apache.spark.sql.streaming.WindowedPhysicalPlan.children(windowedPlans.scala:39) 
    at org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$5.apply(TreeNode.scala:264) 
    at scala.collection.Iterator$$anon$11.next(Iterator.scala:328) 
    at scala.collection.Iterator$class.foreach(Iterator.scala:727) 
    at scala.collection.AbstractIterator.foreach(Iterator.scala:1157)

我已經正確地包含了依賴關係和類文件。下面是名.bst文件看起來像

name := "Word Count" 

version := "1.0" 

scalaVersion := "2.10.4" 

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.3.1" 
libraryDependencies += "org.apache.spark" %% "spark-sql" % "1.3.1" 
libraryDependencies += "org.apache.spark" %% "spark-catalyst" % "1.3.1" 
libraryDependencies += "org.apache.spark" %% "spark-streaming" % "1.3.1" 
libraryDependencies += "spark.streamsql" %% "spark-streamsql" % "0.1.0-SNAPSHOT"

來源

2015-09-08 G3M

我看到下面籤是從數據流的SQL回購失蹤 https://github.com/apache/spark/commit/73348012d4ce6c9db85dfb48d51026efe5051c73 莫非是造成問題？ – DexterMorgan

這是一個簡單的版本問題，刪除所有的火花罐子，並添加火花組裝-1.3.0-hadoop2.4.0.jar Apache的火花lib文件夾。

來源

2015-09-08 06:20:48

你能解釋一下多一點嗎？添加spark-assembly-1.3.0-hadoop2.4.0到什麼？我不確定我是否遵循 – G3M

這是一個版本問題。但是這個解決方案對流式SQL非常具體。還是）感謝你的建議 – G3M

如何從Streaming SQL運行WordCount示例（拋出NoSuchMethodError）？

回答

相關問題