了異常：使用-query和--as-parquetfile

我試圖從紅移表導入數據到HDFS（使用實木複合地板格式），面向錯誤顯示java.lang.NullPointerException如下圖所示：了異常：使用-query和--as-parquetfile

15/06/25 11:05:42 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.NullPointerException 
java.lang.NullPointerException 
     at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:97) 
     at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:478) 
     at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:605) 
     at org.apache.sqoop.Sqoop.run(Sqoop.java:143) 
     at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) 
     at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179) 
     at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218) 
     at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227) 
     at org.apache.sqoop.Sqoop.main(Sqoop.java:236)

命令行查詢中使用：

sqoop進口--driver 「com.amazon.redshift.jdbc41.Driver」 --connect 「的jdbc：PostgreSQL的：//：5439 /事件」 --username「用戶名「 --password」password「--query」SELECT * FROM mobile_og.pages WHERE \ $ CONDITIONS「--split-by anonymous_id --target-dir /user/huser/pq_mobile_og_pages_2 --as-parquetfile。

當--as-parquetfile選項從上述命令行查詢中刪除時，它正常工作。

來源

2015-06-25 Satyajit Vegesna

當我們只使用--table而不是--query時，它可以正常工作--as-parquetfile。 –

確認這是一個錯誤SQOOP-2571。

如果要導入表的所有數據，那麼你就可以最終運行這樣的命令：

sqoop import --driver "com.amazon.redshift.jdbc41.Driver" \ 
    --connect "jdbc:postgresql://:5439/events" \ 
    --username "username" --password "password" \ 
    --table mobile_og.pages \ 
    --split-by anonymous_id \ 
    --target-dir /user/huser/pq_mobile_og_pages_2 \ 
    --as-parquetfile

而且--where也是一個有用的參數。檢查user manual。

來源

2015-09-15 03:25:45 stanleyxu2005

了異常：使用-query和--as-parquetfile

回答

相關問題