2016-12-15 88 views
5

我 我想找出在DF所有的項目其不在DF1,在DF1也物品,但不是在DFPyspark「PipelinedRDD」對象有沒有屬性「秀」

df =sc.parallelize([1,2,3,4 ,5 ,6,7,8,9]) 
    df1=sc.parallelize([4 ,5 ,6,7,8,9,10]) 
    df2 = df.subtract(df1) 
    df2.show() 
    df3 = df1.subtract(df) 
    df3.show() 

只是想檢查結果,看看我是否理解好功能。 但是得到這個錯誤 'PipelinedRDD'對象沒有屬性'顯示' 任何建議?

回答

7
print(df2.take(10)) 

df.show()僅適用於火花數據幀

-1

它打印出來,這是一個RDD和類型是值的,因爲我們可能expect.That的一個PipelinedRDD不是一個列表,因爲我們還沒有執行行動,但我們只進行了一次轉變。

嘗試這樣做,

df3.count() 

那麼你可以做

df3.show() 
+1

它不起作用,因爲DF3是RDD,而不是一個數據幀。 – David

相關問題