豬如何過濾不同夫婦（雙）

Question

我是豬的新手。我有一個Pig腳本，它生成兩個元素之間的製表符分隔對。例如：每行有一對，例如：

John Paul 
Tom Nik 
Mark Bill 
Tom Nik 
Paul John 

我需要過濾掉重複組合。如果我使用DISTINCT，則會過濾掉雙「Tom Nik」條目。其結果是：

John Paul 
Tom Nik 
Mark Bill 
Paul John 

這種方法的問題是，我留下兩個「若望保祿」和「約翰保羅」，這對於我的目的應被視爲相同（相同的組合）。 有沒有辦法去除排列組合？

Answer 1

我不知道字符串比較是如何在豬中實現，但它可能是值得嘗試這樣的：

-- A is your input 
B = FOREACH A GENERATE FLATTEN(($0 < $1 ? ($0, $1) : ($1, $0))) ; 
C = DISTINCT B ; 

通過排序名稱，以便在「小」總是首先出現兩個John Paul和Paul John現在應該是相同的順序，使DISTINCT消除一個。

但是，這種方法完全取決於如何實現字符串比較。例如，如果它比較了長度，那麼John Paul的情況將不會被正確過濾。