2017-03-12 71 views
0

我有兩個RDD。火花java中的減法是區分大小寫的

一種含有以下數據:

0000aaa7-34c6-488d-95ca-01129d858d2f

,另一個RDD包含在混合的情況下相同的數據。

我做減法,如下

rdd1.subtract(RDD2);

減法似乎區分大小寫,所以在不同的情況下返回相同的數據。是否可以通過忽略該情況來做同樣的事情。我被困在這裏,無法前進。任何幫助將非常感激。在此先感謝

+0

這兩個RDD(如果有的話)中的哪一個是小寫字母? –

+0

這就像兩個rdds都有一些小寫的數據和一些大寫的數據。 –

+0

是否有任何要求保持外殼原樣?如果我們要將兩個RDD轉換爲小寫,會不會成爲問題? –

回答

1

您可以採取兩種方法之一。

方法1:將兩個RDD轉換爲小寫。假設你不關心你最終會遇到什麼情況。方法#2:將這些字符串放入包裝類中,並使用您自己的實現equalshashCode,這會忽略套管。

+0

雅我覺得我可以與方法1一起感謝您的建議。讓我試試這個 –