apache-spark

0熱度

1回答

我想寫火花數據框使用pysparkn到S3和火花CSV使用下面的代碼 df1.filter(df1['y'] == 2)\ .withColumnRenamed("x",'a')\ .select("a","b","c")\ .write\ .format('com.databricks.spark.csv')\ .option

0熱度

1回答

谷歌雲平臺中的Spark流kafka集成問題

我們在Google雲平臺中使用了Bitnami Kafka 0.8.2 + spark 1.5.2。我們的火花流傳輸作業（消費者）未收到發送到特定主題的所有消息。它收到約50條消息中的1條（添加了作業流中的日誌並被識別）。我們在卡夫卡日誌中沒有看到任何錯誤。無法從卡夫卡層進一步調試。控制檯消費者顯示在控制檯中接收到INPUT主題。它沒有達到spark-kafka整合流。任何想法如何調試這個問題。另

2熱度

1回答

轉換CoordinateMatrix到RowMatrix不保留行順序

火花殼，我創建了一個CoordinateMatrix： import org.apache.spark.mllib.linalg.distributed.{ CoordinateMatrix, MatrixEntry} val entries = sc.parallelize(Seq( Array(0, 1, 1), Array(0, 2, 2), Array(0, 3, 3)

11熱度

9回答

產生的原因：ERROR XSDB6：德比的另一個實例可能已經啓動數據庫

我試圖運行SparkSQL： val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) 但錯誤即時得到如下： ... 125 more Caused by: java.sql.SQLException: Another instance of Derby may have already booted the databa

0熱度

1回答

如何爲MapR版本構建最新版本的Spark？

我正在運行一箇舊的MapR羣集mapr3。如何爲mapr3構建Spark 1.5.x的自定義分發？

0熱度

1回答

如何從RDD（Array [String]）創建RDD（子數組[String]）？

我最初的RDD; Array [Array [String]]，如下所示： a b h c ....... d e x q d r d x ....... e q g m f e u t ....... q t g y a b h c ....... d e x q d r d x ....... e q g m f e u t ....... q

1熱度

1回答

在windows 7上安裝Apache Spark 32位

我剛剛開始學習apache spark。我做的第一件事是我試圖在我的機器上安裝spark。我用hadoop 2.6下載了預建的spark 1.5.2。當我跑spark shell我得到了以下錯誤回報 java.lang.RuntimeException: java.lang.NullPointerException at org.apache.hadoop.hive.ql.sessi

0熱度

1回答

無法在紗線模式下訪問Spark web-ui

我在遠程集羣設置（4個節點）上運行Spark應用程序。當我運行在當地模式在遠程計算機上使用以下命令的應用程序， spark-submit --class "Main" --master local[*] target/scala-2.10/myapponspark_2.10-1.0.jar 我得到日誌下面的消息， INFO ui.SparkUI: Started SparkUI at htt

0熱度

1回答

星火流：java.lang.NoSuchFieldException：SHUTDOWN_HOOK_PRIORITY

我試圖啓動火花在獨立模式下（MacOSX的），流媒體和得到以下錯誤nomatter什麼：異常線程「main」的java.lang .ExceptionInInitializerError at org.apache.spark.storage.DiskBlockManager.addShutdownHook（DiskBlockManager.scala：147） at org.apache.sp

0熱度

1回答

的方法太多的論點也適用：（我的：int）字符串，類Array

我有一個RDD（r2Join1）持有下列數據 (100,(102|1001,201)) (100,(102|1001,200)) (100,(103|1002,201)) (100,(103|1002,200)) (150,(151|1003,204)) 我想這個變換以下 (102, (1001, 201)) (102, (1001, 200)) (103, (1002, 201)