我遇到的情況,我想幾個月添加到火花DataFrame
其中有數據類型兩列的日期列(日期,智力)添加月至今列星火數據幀
例如
df.show()
data_date months_to_add
2015-06-23 5
2016-07-20 7
我想添加一個新列,這將有一個新的日期和輸出將類似於如下─
data_date month_to_add new_data_date
2015-06-23 5 2015-11-23
2016-07-20 1 2016-8-20
我曾嘗試下面的代碼(添加個月至現有的日期之後),但它並不似乎是working-
df = df.withColumn("new_data_date", a
dd_months(col("data_date"), col("months_to_add")))
它給了我錯誤 -
'Column' object is not callable
請幫助我,如果有任何方法來實現這一點,而不使用SQL查詢在數據框之上。
什麼是'add_months'? – jeanr
@jeanr:add_months是一個預定義的spark函數,用於將月份(整數值)添加到日期 – anurag
任何其他方法也可以工作,但找不到與將日期添加到月份相關的任何內容。 – anurag