pig-udf

0熱度

1回答

正在嘗試處理文件。截至目前，我正在得到如下所示的輸出。 input file:- c=1,2,3 a,b,c,d,a d,e,f g,h,i,i c=2,3,4 j,k,l m,n,a,h c=3,2,5 d,g,a s,fs,a expecting an output like:- c=1,2,3,a,b,c,d,a c=1,2,3,d,e,

0熱度

1回答

多個元組在用Java編寫的豬腳本

輸出示例豬UDF輸入： (1, 10) (2, 100) (3,44) (4,99) 我最終想要創建我的Java UDF的直方圖。我如何在UDF中一次輸入所有這些內容？

1熱度

1回答

豬udf效率級聯內置函數

我是新來的PIG腳本，我有一個要求，我需要執行梯子如果其他條件，從我有什麼知識，我們只有三元運算符，所以我是想寫一個UDF，放入三元運算符級聯如下： - （condition：statement1？（condition：statement 2？statement 3））數據大小在幾百萬行，我是否應該繼續努力爲我的要求創建一個UDF。最終，如果它導致性能問題，那就沒有意義了。從我所知道的情況

1熱度

1回答

Pig UDF在生成新元組時拋出NullPointerException

我有一個Pig UDF，它獲取一些數據，然後嘗試以最小的方式轉換該數據。 my_data = LOAD 'path/to/data' USING SomeCustomLoader(); my_other_data = FOREACH my_data GENERATE MyUDF(COL_1, COL_2, $param1, $param2) as output; my_final_data =

0熱度

1回答

PigStorage是如何工作的？

我是Apache Pig的新手，我想知道如何將數據記錄存儲到FS的一些處理細節。 1.對於每個Tuple，其中PigStorage將它們變爲可讀String？ 2.我可以調用stringfy函數供我自己使用嗎？ THX〜

0熱度

1回答

在豬中使用UDF時出現錯誤1070

運行豬腳本時出現錯誤2017-10-29 03:34:22,212 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1200: <line 6, column 13> Syntax error, unexpected symbol at or near ''/home/harsh/Hunny/HadoopPractice/Pig/Uppe

0熱度

2回答

無法存儲別名C，同時試圖使用Python UDF豬

我的Python UDF代碼： #commaFormat- format a number with commas, 12345-> 12,345 @outputSchema("numformat:chararray") def commaFormat(num): return '{:,}'.format(num) 我的豬腳本： DEFINE CSVExcelStorage or

0熱度

1回答

無法打開別名的迭代器<alias_name>

我知道這是最重複的問題之一。我幾乎到處都是這樣，沒有資源可以解決我所面臨的問題。以下是我的問題陳述的簡化版本。但在實際的數據是有點複雜，所以我必須使用UDF 我的輸入文件：（input.txt中） NotNeeded1,NotNeeded11;Needed1 NotNeeded2,NotNeeded22;Needed2 我所要的輸出是 Needed1 Needed2 所以，我寫下面的