0
我有兩個RDD。火花java中的減法是區分大小寫的
一種含有以下數據:
0000aaa7-34c6-488d-95ca-01129d858d2f
,另一個RDD包含在混合的情況下相同的數據。
我做減法,如下
rdd1.subtract(RDD2);
減法似乎區分大小寫,所以在不同的情況下返回相同的數據。是否可以通過忽略該情況來做同樣的事情。我被困在這裏,無法前進。任何幫助將非常感激。在此先感謝
我有兩個RDD。火花java中的減法是區分大小寫的
一種含有以下數據:
0000aaa7-34c6-488d-95ca-01129d858d2f
,另一個RDD包含在混合的情況下相同的數據。
我做減法,如下
rdd1.subtract(RDD2);
減法似乎區分大小寫,所以在不同的情況下返回相同的數據。是否可以通過忽略該情況來做同樣的事情。我被困在這裏,無法前進。任何幫助將非常感激。在此先感謝
您可以採取兩種方法之一。
方法1:將兩個RDD轉換爲小寫。假設你不關心你最終會遇到什麼情況。方法#2:將這些字符串放入包裝類中,並使用您自己的實現equals
和hashCode
,這會忽略套管。
雅我覺得我可以與方法1一起感謝您的建議。讓我試試這個 –
這兩個RDD(如果有的話)中的哪一個是小寫字母? –
這就像兩個rdds都有一些小寫的數據和一些大寫的數據。 –
是否有任何要求保持外殼原樣?如果我們要將兩個RDD轉換爲小寫,會不會成爲問題? –