使用Docker運行Hadoop（適用於DEV和PROD環境）

Question

什麼是使用Docker運行Hadoop的最簡單方法（適用於開發人員和真實環境）？

這是對於本地開發環境和真實環境的區別應該只是目標機器。

P.S.有關

• Is Hadoop in Docker container faster/worth it?
• Using Hadoop and Spark on Docker containers
• Run a hadoop cluster on docker containers
• How to set up Hadoop in Docker Swarm?
• Is it possible to start multi physical node hadoop clustster using docker?
• Multi-node Hadoop cluster with Docker

和許多https://stackoverflow.com/questions/tagged/hadoop+docker

Answer 1

有幾個Hadoop images on Docker Hub，但是如果你想要適合不同環境的東西，你需要完全分佈式運行 - 即用HDFS和YARN主節點的容器以及工作節點的多個容器。

我有一個可以用作起點的圖像：sixeyed/hadoop-dotnet。您可以從Dockerfile中看到它從Java基本映像開始，安裝Hadoop並使用startup script，以便容器可以作爲主服務器或工作服務器運行。

這意味着你可以運行一個碼頭工人分佈式集羣，利用最新的網絡堆棧：

docker network create hadoop 

docker run -d -p 50070:50070 -p 8088:8088 \ 
    --network hadoop --name hadoop-dotnet-master \ 
    sixeyed/hadoop-dotnet master 

docker run -d -p 50075:50075 -p 8142:8042 -p 19888:19888 \ 
    --network hadoop 
    sixeyed/hadoop-dotnet worker 

或者你可以用a Docker Compose file運行一個完全分佈式集羣。

該映像還包含.NET Core，但如果不使用它，則可以刪除該部分。