apache-pig

0熱度

1回答

我開始使用Apache pig，並試圖轉換一個csv文件。如果輸入的是這樣的： 1,A,10,SS,11 ,B,11,BB,12 ,D,12,TT,13 2,A,20,GG,11 ,C,22,YY,9 ,E,30, , 是否有可能得到下面的輸出？ Number, Type1, Value, Type2, Value, 1, A, 10, SS, 11, 1,

0熱度

1回答

豬，算上array_element

我有一個像下面 1,1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|2|2|2|3|3|1|1|1|1|1|1|1|1|1|2|3,2016-17-08 2,1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1,2016-07-10 3,1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|

1熱度

1回答

在Pig中返回0條記錄的過濾器命令

A = LOAD 'Batting.csv' USING PigStorage(','); B = foreach A generate $0 as id:int,$1 as year:int,$8 as run:int; C = FILTER B by year==1956; 但是DUMP C返回0條記錄。但是檔案中有1956年的記錄。的樣本數據： playerID,yearID,st

1熱度

1回答

錯誤1066：無法打開iteratorfor別名

命令來運行（試圖獲得得分最高運行） Run_M = foreach Run_Group_All generate (Match.Player, Match.Run) , MAX(Match.Run); 按日誌組命令失敗，任何人可以幫助在哪裏的問題？ java.lang.Exception: org.apache.pig.backend.executionengine.ExecException

0熱度

1回答

field_discarded_type_conversion_failed錯誤 - 豬

我正在使用CROSS操作符。我在hdfs中有兩個文件data1 & data2，如下所示。 data1- (1,2,3) (4,2,1) 數據2 (2,4) (8,9) (1,3) 現在我通過鍵入命令加載此文件到一個變量; A = LOAD 'data1' AS (a1:int,a2:int,a3:int); dump A; 傾倒它之後是顯示錯誤 FIELD_DISCARDED

0熱度

1回答

如何使用蜂巢或豬

輸入 id,name,time 1,home,10:20 1,product,10:21 1,mobile,10:22 2,id,10:24 2,bag,10:30 2,home,10:21 3,keyboard,10:32 3,home,10:33 3,welcome,10:36 我要根據以下的輸出，使列名作爲源和目標，使行數據源和目標曲折。前面我與pig 嘗試的步驟是：

0熱度

1回答

處理大數據中的複雜聯接

OLTP系統已規範化幷包含數百個表。在設計報告時，我們可能需要加入很多表格。例如，我需要加入四到五張表才能獲得客戶的電子郵件地址。（感謝我們使用的電信模型）我想在hdfs（或者s3）中設計一個數據倉庫。爲了將emaill地址和自定義ID寫入配置單元中的表中：我需要使用sqoop import命令將五個表中的整個數據提取到hdfs中。然後我需要在蜂巢中加入這些表格。所以這個過程可能會持續很長

0熱度

1回答

如何讀取Pig中的值列表作爲包並將其與特定值進行比較？

輸入： IDS： 1111,2222,3333,4444 員工： {"name":"abc","id":"1111"} {"name":"xyz","id":"10"} {"name":"z","id":"100"} {"name":"m","id":"99"} {"name":"pqr","id":"3333"} 我想篩選員工的ID存在於給定的列表。預期輸出： {"name":"x

0熱度

1回答

錯誤1200：豬腳本無法解析

我正在下面執行錯誤： data1 = load '/user/pig/join2_genchanA.txt' using PigStorage(',')as (showname:chararray, channelname:chararray); data2 = load '/user/pig/join2_gennumA.txt' using PigStorage(',')as (showna

0熱度

1回答

運行豬腳本時出現TypeCast異常

下面是我的豬腳本。它非常簡單。加載一些數據。按列過濾數據。使用數據類型生成模式。將數據存儲在配置單元表中。當我執行數據，其扔 emp = load '/root/emp.nulls' using PigStorage(','); filt = filter emp by $2 is not null; f = foreach filt generate $0 as id:int, $1 as