刪除重複使用PigLatin和留住最後一個元素

我使用PigLatin。我想刪除從袋的重複並希望保留特定鍵的最後一個元素。刪除重複使用PigLatin和留住最後一個元素

Input: 
User1 7 LA 
User1 8 NYC 
User1 9 NYC 
User2 3 NYC 
User2 4 DC 


Output: 
User1 9 NYC 
User2 4 DC

這裏第一個字段是關鍵字。我想保留在輸出該特定鍵的最後一個記錄。

我知道如何保持第一要素。如下所示。但不能保留最後一個元素。

inpt = load '......' ......; 
user_grp = GROUP inpt BY $0; 
filtered = FOREACH user_grp { 
     top_rec = LIMIT inpt 1; 
     GENERATE FLATTEN(top_rec); 
};

有人能幫助我嗎？提前致謝！

來源

2015-08-14 Anil Savaliya

@Anil推出運營商級：如果您訂購的降序排列的領域之一。你將能夠獲得最後的記錄。（：在腳本沒有字段名）

輸入：在下面的代碼，由輸入的第二字段排序

User1,7,LA 
User1,8,NYC 
User1,9,NYC 
User2,3,NYC 
User2,4,DC

豬片段：

user_details = LOAD 'user_details.csv' USING PigStorage(',') AS (user_name:chararray,no:long,city:chararray); 

user_details_grp_user = GROUP user_details BY user_name; 

required_user_details = FOREACH user_details_grp_user { 
    user_details_sorted_by_no = ORDER user_details BY no DESC; 
    top_record = LIMIT user_details_sorted_by_no 1; 
    GENERATE FLATTEN(top_record); 
}

輸出： DUMP required_user_details

(User1,9,NYC) 
(User2,4,DC)

來源

2015-08-14 20:56:59

尼斯方法.. –

酷！這是一個完美的解決方案。感謝你的回答。 –

好了。您可以使用RANK操作。

希望下面的代碼有幫助。

rec = LOAD '/user/cloudera/inputfiles/sample.txt' USING PigStorage(',') AS(user:chararray,no:int,loc:chararray); 
rec_rank = rank rec;                      
rec_rank_each = FOREACH rec_rank GENERATE $0 as rank_key, user, no, loc;         
rec_rank_grp = GROUP rec_rank_each by user; 
rec_rank_max = FOREACH rec_rank_grp GENERATE group as temp_user, MAX(rec_rank_each.rank_key) as max_rank; 
rec_join = JOIN rec_rank_each BY (user,rank_key) , rec_rank_min BY(temp_user,max_rank); 
rec_output = FOREACH rec_join GENERATE user,no,loc; 
dump rec_output;

確保您從豬運行此版本0.11從豬0.11

來源

2015-08-14 17:13:31

刪除重複使用PigLatin和留住最後一個元素

回答

相關問題