Pyspark：從不同的表乘以列

Question

我有這兩個dataframes：

df1 = sc.parallelize([ 
['u1', 0.5], 
['u2', 0.2], 
['u3', 0.1], 
['u4', 0.9], 
['u5', 0.7] 
]).toDF(('person', 'score')) 

df2 = sc.parallelize([ 
['d1', 0.0], 
['d2', 0.5], 
['d3', 0.7], 
]).toDF(('dog', 'score')) 

我需要做的是創建另一個數據幀，其模式將

人，狗，score_person * score_dog

所以基本上乘以兩個數據幀中的列score並保留兩個第一列。這種乘法必須針對每個可能的幾個因素進行，即每個人與每隻狗，以便我的結果數據框將有15行。

我找不到方法來獲得這個，在我看來，它必須通過兩個數據框上的SELECT，但沒有JOIN和UNION可以幫助。

Answer 1

通常笛卡爾乘積是要避免的，但一些簡單join沒有on參數是所有你需要在這裏：

df1.join(df2).select("person", "dog", (df1.score * df2.score).alias("product"))