如何比較Pyspark中的兩個數據幀

Question

c = df[df['CUSTOMER_EMAIL_ID'].isin(d.CUSTOMER_EMAIL_ID)] 

如何在PySpark中編寫相同的表達式？

Answer 1

如果你問「給我從df其中CUSTOMER_EMAIL_ID領域具有從CUSTOMER_EMAIL_ID場d匹配值的所有行」，那麼我認爲你的問題可以用semi join回答，具體有：

c = df.join(b, 'CUSTOMER_EMAIL_ID', 'leftsemi') 

左側（右側）半連接在概念上可以認爲是內部連接，然後是右側（左側）列。