Hadoop文件上傳過程內部工作

Question

我目前陷入了一個問題，我可以從羣集中的任何節點運行客戶端時將文件上載到HDFS，但從客戶端運行客戶端時不能這樣做我的本地計算機（儘管我可以執行諸如從本地客戶端運行ls的操作）。我很確定這是一個端口問題，但是更小的問題讓我覺得我想知道當我嘗試上傳文件時，我的客戶端計算機，名稱節點和datanodes之間發生了什麼通信。那麼，任何人都可以啓發我嗎？什麼時候，在哪些端口之間，以及哪些電腦之間發生了什麼？

Answer 1

這是一個EC2問題，我將Datanode EC2私有IP由名稱節點返回給所有客戶端，無論他們是否在EC2或我們的專用網絡上。這些ips顯然不適用於EC2之外的客戶，因此任何涉及datanode並且從EC2外部受到攻擊的操作都會崩潰。我從來沒有找到一個好的解決方案，只是決定現在讓人們從EC2內部進行查詢。