Python數據包的函數，用於udf（）Spark數據幀

Question

對於通過pyspark的Spark數據幀，我們可以使用pyspark.sql.functions.udf創建user defined function (UDF)。

我在想我是否可以使用Python包中的任何函數udf()，例如numpy的np.random.normal？

Answer 1

假設你想添加一個名爲new通過調用numpy.random.normal反覆構建了您的數據幀df欄，你可以這樣做：

import numpy 
from pyspark.sql.functions import UserDefinedFunction 
from pyspark.sql.types import DoubleType 

udf = UserDefinedFunction(numpy.random.normal, DoubleType()) 

df_with_new_column = df.withColumn('new', udf())