星火數據框中用隨機數據

Question

添加新的專欄中，我想一個新的列添加到數據框與值由0或1 我使用「randint」功能，

from random import randint 

df1 = df.withColumn('isVal',randint(0,1)) 

但我得到的以下錯誤，

/spark/python/pyspark/sql/dataframe.py", line 1313, in withColumn assert isinstance(col, Column), "col should be Column" AssertionError: col should be Column

如何使用自定義函數或randint函數爲列生成隨機值？

Answer 1

您正在使用python builtin。這將返回一個固定的特定值（返回值）。

正如錯誤信息所示，我們期望一個代表表達式的列。

要這樣做嗎：

from pyspark.sql.functions import rand,when 
df1 = df.withColumn('isVal', when(rand() > 0.5, 1).otherwise(0)) 

這將給出0和1之間的均勻分佈中查看選項（http://spark.apache.org/docs/latest/api/python/pyspark.sql.html#module-pyspark.sql.functions）

功能文檔