apache-pig

0熱度

3回答

我想用Apache Pig來表徵具有某些屬性的行的分數。例如，如果數據的模樣： a,15 a,16 a,17 b,3 b,16 我想獲得： a,0.6 b,0.4 我努力做到以下幾點： A = LOAD 'my file' USING PigStorage(','); total = FOREACH (GROUP A ALL)

2熱度

1回答

使用HBaseStorage從Bigtable通過Pig載入Dataproc

有沒有人有過使用HBaseStorage通過Pig在Dataproc上從Bigtable載入數據的經驗或成功？這是我試圖運行的一個非常簡單的Pig腳本。它會失敗，並顯示無法找到BigtableConnection類的錯誤，我想知道我可能會錯過哪些設置以成功從Bigtable加載數據。 raw = LOAD 'hbase://my_hbase_table' USING org.apac

0熱度

1回答

如何衡量豬的業績

我遇到了兩個腳本，它們完成了計算豬價值百分比的相同工作。 SCRIPT1 total = FOREACH (GROUP A ALL) GENERATE COUNT(A); rows = FOREACH (GROUP A by $0) GENERATE group as colname, COUNT(A) as cnt; fractions = FOREACH rows GENERATE col

1熱度

1回答

Pig-無法轉儲數據

0熱度

1回答

映射器無法將數據插入到MongoDB中

我正嘗試使用MongoInsertStorage和PIG將文件從HDFS導入到MongoDB。這些文件很大，大約5GB。該腳本運行正常，當我與 pig -x local example.pig 運行在本地模式但是如果我在映射精簡模式下運行，大部分的映射器的失敗，出現以下錯誤： Error: com.mongodb.ConnectionString.getReadConcern()Lcom/mo

0熱度

1回答

在豬的foreach語句後過濾

所以我有一列，U列和列名稱u_id。 filter_out = filter A BY s_id == (FOREACH u GENERATE u_id); 我基本上是想通過在u表中的每一行匹配來過濾一張表。所以基本上如果是從（表1）從S_ID第二表匹配的U_ID，過濾出來我不斷收到不匹配的輸入「U」 expecting LEFT_PAREN錯誤 -------------第二個方法---

0熱度

1回答

apache pig，按值分組的值排列

使用Apache Pig，我需要一個字段的所有排列，按id字段分組（通過本例中的'title'）。輸入的數據是這樣的：模式是{chararray，chararray} (title1, name1) (title1, name2) (title1, name3) (title2, name4) (title2, name5) (title2, name6) 我需要TITLE1名字的

0熱度

1回答

如何轉換目標值與豬？

我有一些數據與4個值的目標，我希望其中三個成爲使用拉丁豬一個單一的一部分。 Input: Output: ID | Target ID | Target ----------------- ----------------- test1 1 test1 1 test2 1 test2 1 test3 2 test3 2 test4

0熱度

1回答

Apache Pig中的模式格式

我是這種語言的新手，我試圖爲Excel電子表格中的數據創建一個模式，並將其下載到一個文本文件中。（文本文件附後）請注意我有沒有java知識，這是所有的豬。有人可以幫助我正確地格式化此格式以匹配架構並刪除數字值中的逗號嗎？我試圖代碼： sales2000 = LOAD '2000rssales1.txt' USING PigStorage() AS (field1:chararray,f

1熱度

1回答

Pig載入：不推薦使用的屬性fs.default.name

我已經安裝了Hadoop 2.6.5，並且我剛剛在同一臺機器上安裝了Pig 0.16。我跑了豬，然後我用 a = load '/user/hduser/input/palabras.txt';加載了一個文件，我得到了這個INFO INFO org.apache.hadoop.conf.Configuration.deprecation - fs.default.name is deprecated