apache-spark-1.5

1熱度

1回答

我已經更新了我的CDH羣集使用spark 1.5.0。當我提交申請的火花，約spark.app.id Using default name DAGScheduler for source because spark.app.id is not set. 系統會顯示警告我已搜查約spark.app.id但沒有記錄它。我讀到這link，我認爲它是用於RESTAPI電話。我在spark 1.4中看

3熱度

1回答

Apache Spark數據框createJDBCTable異常

與save to JDBC相關，嘗試導入文本文件並保存到Hive JDBC文件以供報告工具導入。我們正在運行spark-1.5.1-bin-hadoop2.6（master + 1 slave），JDBC節點服務器和直線客戶端。他們似乎都互相聯繫和溝通。從我所能理解的情況來看，Hive包含在這個版本的數據核心罐子裏。我已配置目錄來保存Hive文件，但沒有conf/hive-config.xml。

1熱度

2回答

什麼是oozie等同於Spark？

我們有非常複雜的管道，我們需要編寫和安排。我看到Hadoop生態系統爲此提供了Oozie。當我在Mesos或Standalone上運行Spark並且沒有Hadoop集羣時，基於Spark的作業有哪些選擇？

11熱度

1回答

如何連接Zeppelin到Spark 1.5的源碼？

我從Spark存儲庫中提取最新的源代碼並在本地構建。它可以從諸如spark-shell或spark-sql的交互式外殼中運行。根據this install manual，現在我想將Zeppelin連接到我的Spark 1.5。我將自定義Spark構建發佈到本地Maven存儲庫，並在Zeppelin構建命令中設置自定義Spark版本。構建過程順利完成，但是當我嘗試運行基本的東西，像sc裏面的筆記本