spark-dataframe

0熱度

1回答

1熱度

1回答

rfModel.toDebugString錯誤

我在Spark 2.2和Python 2.7.11中使用pyspark，我嘗試使用.toDebugString方法從隨機森林分類器的決策樹中提取規則。我成功吧，但是因爲從2.1到2.2的更新，星火崩潰我使用這個命令後，我得到這個錯誤：完整的錯誤： rfModel.toDebugString ----------------------------------------u'RandomFo

0熱度

2回答

如何根據Pyspark中的數據框中的條件設置新的列表值？

我有一個像下面的DataFrame。 +---+------------------------------------------+ |id |features | +---+------------------------------------------+ |1 |[6.629056, 0.26771536, 0.79063195,0.8923] | |2 |[1.

0熱度

1回答

從數據框的列中刪除特殊字符

我試圖從數據框的列中刪除特殊字符（？）。我的數據是這樣的：客戶端ID，PatientID AR0001å，DH_HL704221157198295_91 AR00022，DH_HL704221157198295_92 我的原始數據的大小從我需要大約8TB擺脫這個特殊的角色。代碼加載數據： reader.option("header", true) .option("sep",

0熱度

1回答

如何將行轉換爲火花數據幀中的列，scala

有什麼方法可以將數據幀行轉置爲列。我有以下結構作爲輸入： val inputDF = Seq(("pid1","enc1", "bat"),("pid1","enc2", ""),("pid1","enc3", ""),("pid3","enc1", "cat"),("pid3","enc2", "")).toDF("MemberID", "EncounterID", "entry") in

0熱度

1回答

PySpark：使用標記生成器

映射詞我開始我的旅程PySpark和我都停留在一個點，例：我有這樣的代碼：（我把它從https://spark.apache.org/docs/2.1.0/ml-features.html） from pyspark.ml.feature import Tokenizer, RegexTokenizer from pyspark.sql.functions import col, udf

0熱度

1回答

16個任務（1048.5 MB）的序列化結果的總大小大於spark.driver.maxResultSize（1024.0 MB）

當我將--conf spark.driver.maxResultSize=2050添加到我的命令中時，出現以下錯誤。 17/12/27 18:33:19 ERROR TransportResponseHandler: Still have 1 requests outstanding when connection from /XXX.XX.XXX.XX:36245 is closed 17

0熱度

1回答

ExceptionInInitializer錯誤，同時從Teradata表讀取數據使用星火

我使用下面的代碼來讀取Teradata的數據，但收到錯誤 val jdbcDF = spark.read .format("jdbc") .option("url",s"jdbc:teradata://${TeradataDBHost}/database=${TeradataDBDatabase}") .option("dbtable", TeradataDBData

1熱度

1回答

如何從火花數據幀的所有列中替換多個字符？

我有一個包含多個列的數據框。 >>> df.take(1) [Row(A=u'{dt:dt=string, content=Prod}', B=u'{dt:dt=string, content=Staging}')] 我想從df列A和B的值中去掉花括號'{'和'}'。我知道我們可以使用： df.withColumn('A',regexp_replace('A','//{','')) df.

1熱度

2回答

根據另一列的值更改pyspark列

我有一個名爲df的pyspark數據框。 ONE LINE EXAMPLE: df.take(1) [Row(data=u'2016-12-25',nome=u'Mauro',day_type="SUN")] 我有假期一天的清單： holydays=[u'2016-12-25',u'2016-12-08'....] 我想改用day_type爲「HOLIDAY」如果「數據」是holyd