如何通過Apache Spark中的JSON格式（如在Web UI中）獲取所有度量標準Apache Spark

Question

apache Spark Web UI提供了大量有關工作人員，驅動程序，存儲等的有用信息。但是，度量Servlet僅提供一些信息。例如，我從/ metrics/json獲得以下內容：

{ 
    "version":"3.0.0", 
    "gauges":{ 
    "local-1431683138663.<driver>.BlockManager.disk.diskSpaceUsed_MB":{ 
     "value":0 
    }, 
    "local-1431683138663.<driver>.BlockManager.memory.maxMem_MB":{ 
     "value":3179 
    }, 
    "local-1431683138663.<driver>.BlockManager.memory.memUsed_MB":{ 
     "value":169 
    }, 
    "local-1431683138663.<driver>.BlockManager.memory.remainingMem_MB":{ 
     "value":3009 
    }, 
    "local-1431683138663.<driver>.DAGScheduler.job.activeJobs":{ 
     "value":1 
    }, 
    "local-1431683138663.<driver>.DAGScheduler.job.allJobs":{ 
     "value":1 
    }, 
    "local-1431683138663.<driver>.DAGScheduler.stage.failedStages":{ 
     "value":0 
    }, 
    "local-1431683138663.<driver>.DAGScheduler.stage.runningStages":{ 
     "value":1 
    }, 
    "local-1431683138663.<driver>.DAGScheduler.stage.waitingStages":{ 
     "value":0 
    } 
    }, 
    "counters":{ 
    }, 
    "histograms":{ 
    }, 
    "meters":{ 
    }, 
    "timers":{ 
    } 
} 

如何獲得其他指標（如存儲等）？

Answer 1

所有的數據現在都可以從1.4版本的Spark Monitoring REST API中獲得。感謝Apache Spark！

鏈接：http://spark.apache.org/docs/latest/monitoring.html#rest-api