我計劃旋轉我的開發集羣以進行基礎架構監視應用程序的趨勢分析,我打算使用Spark構建分析故障趨勢的卡路德,並分析故障趨勢並分析數據。 考慮從大約25000臺機器/服務器收集性能矩陣(可能在不同服務器上設置相同的應用程序)。我期望每臺機器的性能矩陣大小爲2MB/sec,我計劃推入帶有時間戳的Cassandra表,服務器作爲主鍵和應用程序,以及一些重要矩陣作爲集羣密鑰。我將在此存儲的信息之上運行Spark作業,以進行性能矩陣故障趨勢分析。具有6到7個節點的分佈式Spark和HDFS集羣硬件配置
考慮到上述情況,我需要啓動羣集才能啓動多少個節點(機器)以及CPU和內存的配置。