s3distcp錯誤「參數‘--arg’不匹配」

我試圖使用s3distcp爲EMR工作，得到這個異常：s3distcp錯誤「參數‘--arg’不匹配」

Exception in thread "main" java.lang.RuntimeException: Argument --arg doesn't match. 
     at emr.hbase.options.Options.parseArguments(Options.java:75) 
     at emr.hbase.options.Options.parseArguments(Options.java:57) 
     at com.amazon.external.elasticmapreduce.s3distcp.S3DistCp.run(S3DistCp.java:151) 
     at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) 
     at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79) 
     at com.amazon.external.elasticmapreduce.s3distcp.Main.main(Main.java:12) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
     at java.lang.reflect.Method.invoke(Method.java:606) 
     at org.apache.hadoop.util.RunJar.main(RunJar.java:187)

控制器表明，它是運行以下命令：

2013-11-03T00:54:52.277Z INFO Executing /usr/java/latest/bin/java -cp /home/hadoop/conf:/usr/java/latest/lib/tools.jar:/home/hadoop:/home/hadoop/hadoop-tools.jar:/home/hadoop/hadoop-tools-1.0.3.jar:/home/hadoop/hadoop-core-1.0.3.jar:/home/hadoop/hadoop-core.jar:/home/hadoop/lib/*:/home/hadoop/lib/jetty-ext/* -Xmx1000m -Dhadoop.log.dir=/mnt/var/log/hadoop/steps/1 -Dhadoop.log.file=syslog -Dhadoop.home.dir=/home/hadoop -Dhadoop.id.str=hadoop -Dhadoop.root.logger=INFO,DRFA -Djava.io.tmpdir=/mnt/var/lib/hadoop/steps/1/tmp -Djava.library.path=/home/hadoop/native/Linux-amd64-64 org.apache.hadoop.util.RunJar /mnt/var/lib/hadoop/steps/1/s3distcp.jar --arg --src --arg 's3://s3bucket/s3/' --arg --dest --arg hdfs:///tmp/mrjob/mrjob-jobid/step-output/1/ --arg --groupBy --arg 'd-0-([0-9]+-[0-9]+).log.gz'

這看起來完全沒問題。有沒有人知道爲什麼它不能匹配--arg？

謝謝！

來源

2013-11-03 Thi Duong Nguyen

我認爲很可能hdfs：/// tmp/mrjob/mrjob-jobid/step-output/1 /必須用單引號引起來。

我看到的語法是這樣的：

--arg S3DistCp-OptionName1 --arg 'S3DistCp-OptionValue1'

來源

2013-11-03 09:59:12

你想用引號括起來EMR步驟參數，以及：

--arg "--src" --arg 's3://s3bucket/s3/' --arg "--dest" ...

我認爲，無論是單或雙引號應該工作。

來源

2015-03-10 23:09:03

s3distcp錯誤「參數‘--arg’不匹配」

回答

相關問題