apache-spark

0熱度

1回答

使用Spark_sklearn進行嵌套交叉驗證GridSearchCV產生SPARK-5063錯誤

使用Spark_sklearn執行嵌套交叉驗證GridSearchCV作爲內部cv和sklearn cross_validate/cross_val_score作爲外部cv結果「看起來您試圖從廣播變量引用SparkContext ，行動或轉型「的錯誤。 inner_cv = StratifiedKFold(n_splits=2, shuffle=True, random_state=42) ou

1熱度

1回答

火花sbt與graphx

我是新來的scala和sbt的東西，所以我不知道爲什麼我得到的錯誤。，以下是我build.sbt name := "graphx-example" version := "1.0" scalaVersion := "2.11.8" libraryDependencies ++= Seq( "com.typesafe" % "config" % "1.3.1", "o

0熱度

1回答

Pyspark：在UDF中通過動態列

嘗試在UDF中逐個發送列的列表，但使用for循環但出現錯誤，即數據框未找到col_name。目前在列表list_col我們有兩列，但它可以改變。所以我想寫一個代碼，它適用於列的每一個列表。在這段代碼中，我一次連接一列的行，行的值是結構格式即列表中的列表。對於每一個空，我必須給空間。 list_col=['pcxreport','crosslinediscount'] def struct

0熱度

2回答

火花從一個小文件

查找我做的火花項目和需要就如何解決的最佳方式如下問題：我有一個數據幀（說MainDF），其中有上百萬的記錄。格式是這樣的（name：String，value：Int）。下面的內容例如： Davi,130 Joel,20 Emma,500 我還有一個小文件，與4號線的記錄，像這樣（的className：字符串，minValue（最小值）：詮釋，包括maxValue：智力）現在我需要創建通

0熱度

1回答

|性能調整和優化

優化在基於Yarn的羣集上部署的Spark Jobs的最佳方式是什麼？。尋找基於配置而非代碼級別的更改。我的問題是經典設計級別的問題，應該使用什麼方法來優化Spark Streaming或Spark SQL上開發的作業。

1熱度

1回答

執行者上的Spark對象（單例）序列化

我不確定我想實現的是否可能。我所知道的是，我正從一個執行器訪問單例對象，以確保它的構造器在每個執行器上只被調用一次。這種模式已經在我的代碼庫中被證明和按照預期用於類似的用例。但是，我想知道的是，如果我可以在驅動程序初始化之後運送對象。在這種情況下，訪問ExecutorAccessedObject.y時，理想情況下它不會調用println，而是返回值。這是一個高度簡化的版本，實際上，我想打電話給

1熱度

1回答

如何從火花數據幀的所有列中替換多個字符？

我有一個包含多個列的數據框。 >>> df.take(1) [Row(A=u'{dt:dt=string, content=Prod}', B=u'{dt:dt=string, content=Staging}')] 我想從df列A和B的值中去掉花括號'{'和'}'。我知道我們可以使用： df.withColumn('A',regexp_replace('A','//{','')) df.

1熱度

1回答

ipython不被識別爲內部或外部命令（pyspark）

我已經安裝了spark版本：spark-2.2.0-bin-hadoop2.7。我使用Windows 10 OS 我的Java版本1.8.0_144 我已經把我的環境變量： SPARK_HOME D:\spark-2.2.0-bin-hadoop2.7 HADOOP_HOME D:\Hadoop (where I put bin\winutils.exe) PYSPARK_DRIVER_

-1熱度

1回答

火花流：映射點到隊列

我是新的火花流，我不明白地圖如何工作。我想從一個流排隊一些問題後，我從一個構造函數，因此我寫它傳遞的是： val data = inp.flatMap(_.split(",")) val points = data.map(_.toDouble) val queue: Queue[Point] = new Queue[Point] points.foreachRDD(rdd => { rd

0熱度

1回答

使用兩列火花蟒蛇

鍵我有我的csv文件4列和多行。 Date(MM/DD/YY) Arr_Dep Dom_Int Num_Fl 01/01/15 0:00 Arrival Domestic 357 03/01/15 0:00 Arrival International 269 06/01/15 0:00 Departure Domestic 82 08/01/15 0:00 Depar