如何將PySpark（本地機器）連接到我的EMR羣集？

Question

我已經部署了一個由Apache Spark引導的3節點AWS ElasticMapReduce集羣。從我的本地機器上，我可以通過SSH訪問主節點：

ssh -i <key> hadoop@ec2-xx-xxx-xxx-xxx.compute-1.amazonaws.com 一旦SSH方式登錄的主節點，我可以通過pyspark訪問PySpark。 此外，（儘管不安全）我已配置主節點的安全組，以接受來自本地計算機的IP地址（特別是端口7077）上的TCP通信。

不過，我還是沒辦法把我當地 PySpark實例連接到我的集羣：

MASTER=spark://ec2-master-node-public-address:7077 ./bin/pyspark

在一些例外的上述命令的結果，並導致PySpark到無法初始化SparkContext對象。

有誰知道如何成功創建遠程連接，就像我上面描述的那個？

Answer 1

除非您的本地計算機是羣集的主節點，否則不能這樣做。您將無法使用AWS EMR完成此操作。