spark-dataframe

0熱度

1回答

如何從Spark數據框中的When子句將多個列發送到udf？

我想加入上full_outer_join的基礎2個dataframes，並試圖在加入結果集，它告訴我匹配的記錄，從左至右數據幀單獨匹配的記錄和不匹配的記錄單從右邊數據框中 這裏是添加新列我的火花代碼： val creditLoc ="/data/accounts/credits/year=2016/month=06/day=02" val debitLoc = "/data/accounts/d

scala apache-spark spark-dataframe 2017-09-27

---

1熱度

1回答

如何解決'DataFrame'對象沒有屬性'coalesce'？

在PySpark應用程序中，我試圖通過將數據框轉換爲熊貓來轉置數據框，然後我想將結果寫入csv文件。這是我正在做它： df = df.toPandas().set_index("s").transpose() df.coalesce(1).write.option("header", True).option("delimiter", ",").csv('dataframe') 時執行該腳本

apache-spark dataframe pyspark spark-dataframe 2017-09-28

---

0熱度

1回答

創建火花數據幀基於條件

我有2個數據幀： dataframe1具有70000行，如： location_id, location, flag 1,Canada,active 2,Paris,active 3,London,active 4,Berlin,active 對於每個位置二DF lookup已修改IDS（此數據幀被修改的時間到時間），像： id,location 1,Canada 10,Paris

scala apache-spark hive spark-dataframe 2017-09-29

---

0熱度

2回答

Spark -Reading Terradata表和插入Oracle表

我正在使用Spark從Terradata表中讀取數據，並且想要在Oracle中使用Upsert表。我能夠插入數據，但我可以執行UPSERT嗎？ 這就是我將數據插入Oracle的方式。 dataframe.write.mode（SaveMode.Append）.jdbc（URL，表6，道具）

apache-spark apache-spark-sql spark-dataframe spark-streaming 2017-09-29

---

0熱度

1回答

火花數據框（所有組合）中的多列上的聚合

我想根據我在數據框中具有的所有列的組合來計算客戶數。 例如： - 假設我有5列的數據幀。 ID，COL1，COL2，COL3，CUST_ID 我需要的客戶的計數的所有組合： id, col1, count(cust_id) id, col1, col2, count(cust_id) id, col1, col3, count(cust_id) id, col1, c

scala apache-spark spark-dataframe 2017-09-30

---

-1熱度

1回答

SparkSQL數據框中的兩列如何合併？

我有一個Spark SQL數據框，看起來像這樣： df.select("FirstName","F_Name","Dept").show() FirstName|F_Name|Dept --------------------- Alfred |null |c1 null |Jarvis|c2 Jeeves |null |c1 我希望能夠凝聚名字和F_Name，這樣我可以有一個表

scala apache-spark pyspark apache-spark-sql spark-dataframe 2017-09-30

---

-1熱度

1回答

我們可以在不創建模式的情況下在火花數據框中加載分隔文本文件嗎？

我有很好的格式化文本文件，像波紋管。 TimeStamp|^|LineItem_organizationId|^|LineItem_lineItemId|^|StatementTypeCode|^|LineItemName|^|LocalLanguageLabel|^|FinancialConceptLocal|^|FinancialConceptGlobal|^|IsDimensional|^|

apache-spark apache-spark-sql spark-dataframe 2017-10-01

---

0熱度

2回答

火花數據幀的GroupBy和計算複雜聚集函數

使用火花數據幀，我需要通過使用下面 複雜的公式來計算百分比： 組由「KEY」，並計算「re_pct」爲（總和（SA）/總和（SA /（PCT/100）））* 100 例如，輸入數據幀是 val values1 = List(List("01", "20000", "45.30"), List("01", "30000", "45.30")) .map(row => (row(0), ro

scala apache-spark apache-spark-sql spark-dataframe 2017-10-04

---

0熱度

2回答

Spark scala - 嵌套StructType轉換爲地圖

我在scala中使用Spark 1.6。 我使用對象在ElasticSearch中創建了一個索引。對象「params」創建爲Map [String，Map [String，String]]。例如： val params : Map[String, Map[String, String]] = ("p1" -> ("p1_detail" -> "table1"), "p2" -> (("p2_det

scala apache-spark elasticsearch spark-dataframe 2017-10-04

---

0熱度

1回答

Pyspark-Sql篩選器 - 通過檢查是否在數組中呈現id值來選擇所有行

我在Pyspark中有一個DataFrame，我需要選擇id值在數組中呈現的行。有誰能幫我一下嗎？ 實施例： +---+-----+ | id| col2| +---+-----+ |123| 2 | |245| 32 | | 12| 34 | |234| 1 | +---+-----+ 數組：[123，12，234] 慾望的結果： +---+-----+ | id| col2

pyspark spark-dataframe pyspark-sql 2017-10-04

---