我在亞馬遜EMR上使用Hue作爲PIG腳本。 I am using the declare and default statements as mentioned in the documentation.Hue上的Apache Pig 0.12.0不按預期預處理語句
我有一些%默認和%declare語句,它看起來像他們是 不在Hue中預處理。因此,雖然參數在我的腳本中被定義爲 ,但編輯器會彈出一個參數配置窗口。如果我將參數留空,則作業將失敗並顯示錯誤。
示例腳本
%declare OUTPUT_FOLDER 'testingOutput01';
ts = LOAD 's3://testbucket1/input/testdata-00000.gz' USING PigStorage('\t');
STORE ts INTO 's3://testbucket1/$OUTPUT_FOLDER' USING PigStorage('\t');
在執行時,它顯示彈出窗口,要求爲OUTPUT_FOLDER值。如果我將其留空,則會失敗,並顯示以下錯誤:
2015-06-23 20:15:54,908 [main] ERROR org.apache.pig.Main - ERROR 2997:
Encountered IOException. org.apache.pig.tools.parameters.ParseException:
Encountered "<EOF>" at line 1, column 12.
Was expecting one of:
<IDENTIFIER> ...
<OTHER> ...
<LITERAL> ...
<SHELLCMD> ...
這是預期的行爲嗎?這是一個已知的問題,還是我錯過了什麼?
配置詳情:
AMI version:3.7.0
Hadoop distribution:Amazon 2.4.0
Applications:Hive 0.13.1, Pig 0.12.0, Impala 1.2.4, Hue
同樣的行爲被認爲是默認,而不是申報。
如果您需要任何澄清,然後請做這個問題的評論。我會根據需要更新它。
色調是絕對的災難。我會嘗試從命令行向實例運行豬腳本。如果它運行,那麼你會知道這是Hue的問題。 – gobrewers14
好主意。我會明天嘗試一下,並且告訴你結果。我希望它能起作用。那樣我知道什麼是錯的。 –
羅曼添加了一個答案,確認這是Hue中的一個錯誤。謝謝你的幫助! –