在豬中讀取快速壓縮的輸入

Question

我有一個文件，我正嘗試將它加載到壓縮的快速豬中。我在grunt中設置了配置選項，如this jira issue中所述，但我仍然在結果中獲取壓縮數據。

當我運行作業它說： org.apache.hadoop.io.compress.snappy.LoadSnappy - 斯納皮機庫可

這份工作我做一個簡單的
A =負載「 /路徑/到/活潑/文件」使用PigStorage（）作爲（X，Y，Z）

然後：
轉儲數據

將輸出的壓縮數據。

有誰知道我能做些什麼來正確讀取數據？提前致謝。

Answer 1

PigStorage使用PigTextInputFormat進行輸入，它將檢測和使用Snappy壓縮文件，但文件必須具有hadoop壓縮編解碼器工廠的hadoop正確擴展名才能使用snappy。

我的猜測是你的文件沒有.snappy擴展，嘗試重命名文件並再次嘗試