如何在hadoop中指定系統屬性，除了修改hadoop-env.sh？

Question

我想在運行hadoop作業時設置系統屬性（不是hadoop屬性）。我發現設置系統屬性並不容易。即使我設置在殼

export HADOOP_OPTS="$HADOOP_OPTS:-Dproperty=value" 

它仍然無法正常工作。 hadoop命令行的「-D」選項僅用於配置，而不是系統屬性。所以「-D」選項也不起作用

任何人有想法嗎？謝謝

Answer 1

爲什麼不直接使用在線-Dfoo.bar=example開始通過命令行工作時，就像這樣：

hadoop jar example.jar com.example.ExampleTool -Dfoo.bar=example argument

爲了獲得在代碼中的屬性，使用conf.get("foo.bar");

---

現在，如果您確實需要將其設置爲系統屬性，則可以使用您從Hadoop配置中獲得的值在代碼的開頭設置它，如下所示：

String property = conf.get("foo.bar"); 
System.setProperty("foo.bar", property); 

Answer 2

檢查系統屬性和環境變量之間的區別以及如何設置它們here。

Answer 3

這樣

exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "$@" 

所以hadoop腳本調用Java類，我們可以通過全系統的特性是這樣的：

export HADOOP_OPTS="$HADOOP_OPTS -Dfoo=bar"