我正在研究一個搜索引擎設計,它將在雲上運行。 我們剛剛開始,對Hdoop沒有太多的想法。 任何人都可以告訴HBase,MapReduce和HDFS可以在安裝了Hdoop的單臺機器上運行嗎?HBase,MapReduce和HDFS可以在安裝了Hadoop並運行Hadoop的單臺機器上運行嗎?
1
A
回答
2
是的,你可以。你甚至可以創建一個虛擬機,然後在一臺「計算機」上運行它(這就是我所擁有的:))。
關鍵是在「Pseudo Distributed Mode」中簡單安裝Hadoop,即使在Hadoop Quickstart中也有描述。
如果您使用Cloudera發行版,他們甚至在RPM中創建了所需的配置。 Look here for more info in that.
HTH
2
是的。在我的開發環境,我跑
- 的NameNode(HDFS)
- SecondaryNameNode(HDFS)
- 數據節點(HDFS)
- 的JobTracker(MapReduce的)
- 的TaskTracker(MapReduce的)
- 碩士( HBase)
- RegionServer(HBase)
- QuorumPeer(ZooKeeper - HBase需要)
另外,我運行我的應用程序,並映射和減少任務跟蹤器啓動的任務。 在同一臺機器上運行如此多的進程會導致CPU核心,內存和磁盤I/O的爭奪,所以它對於高性能來說絕對不是很好,但除了可用資源量之外沒有其他限制。
2
同樣在這裏,我在一臺計算機上運行的Hadoop/HBase的/蜂巢。 如果你真的想看到的分佈式計算一臺計算機上,抓住大量的RAM,一些硬盤空間,是這樣的 -
- 使一個或兩個虛擬機(使用虛擬盒)
- 安裝Hadoop的每個人,讓烏爾真正的安裝目錄(沒有任何虛擬之一)作爲主,其餘部分從
- 配置Hadoop的真正的分佈式環境
- 現在的Hadoop開始時,你應該實際擁有的多臺計算機集羣(一個真實,虛實)
這可能只是一個實驗,因爲除非你有一個體面的多CPU或多核系統,否則這樣的配置實際上會消耗更多的維護本身,而不是提供任何性能。
gud luck。
--l4l
相關問題
- 1. 如何運行Hbase和Hadoop mapreduce
- 2. 在hadoop和mapreduce上運行R腳本
- 3. Hadoop可以在Nginx上運行嗎?
- 4. 使用Hbase運行Hadoop的平臺
- 5. 哪臺機器運行Hadoop的Reducer
- 6. 在HBase上運行Hadoop MapReduce作業時出現NoServerForRegionException
- 7. 無法在Hadoop上運行MapReduce作業
- 8. 在Hadoop集羣上運行mapreduce jar
- 9. Hadoop mapreduce - reducer未運行
- 10. Hadoop任務可以在單個節點上並行運行
- 11. 如何在OS X上安裝並運行Accumulo和Hadoop 10.7.4
- 12. sqoop可以不使用hadoop運行嗎?
- 13. Can Hadoop Yarn可以運行網格嗎?
- 14. 在雲平臺上運行Hadoop的
- 15. 在Hadoop中運行非mapreduce工作
- 16. 在hadoop中運行非mapreduce程序
- 17. 在沒有HDFS和Hadoop集羣的情況下,可以在本地運行MapReduce嗎?
- 18. 獲取java.net.SocketTimeoutException當試圖運行Hadoop mapReduce新鮮安裝Hortonworks
- 19. ClassNotFoundException的運行的Hadoop/MapReduce的
- 20. hadoop-2.2.0下運行的hadoop程序能在hadoop-1.2.1下運行嗎?
- 21. 錯誤運行的hadoop MapReduce的例子
- 22. 的Hadoop MapReduce的數據流不運行
- 23. 在僞分佈式hadoop中並行運行的Mapreduce任務
- 24. 在一臺機器上運行Hadoop集羣
- 25. Hadoop的C++ HDFS測試運行異常
- 26. 在Windows上安裝和運行hadoop 2.2的文檔
- 27. 是否可以配置運行mapreduce v1框架的hadoop 2.6.0? (classic)
- 28. 如何從終端運行hadoop hdfs testcase
- 29. subprocess popen運行命令(HDFS/hadoop)
- 30. Hadoop HDFS測試運行問題 - org.apache.hadoop.conf.Configuration NoClassDefFoundError