3 它可以與spark-client一起運行,但紗線簇怎麼樣?如果可能,請分享我們如何做到這一點。是否有可能使用spark-yarn-cluster運行zeppelin 來源 2015-10-23 Santosh Kumar
0 目前zeppelin不支持紗線羣,只有紗線客戶端。 這是什麼用途? 來源 2015-10-24 12:25:22 +2 原因是,每次飛艇需要重啓時,執行程序都會被殺死,因此緩存會丟失。爲了避免這種行爲,spark應該像紗線羣集一樣運行,以便驅動程序在應用程序主控中運行。 – +0 添加到您的評論中,yarn-cluster管理所有來自HDFS的JAR,而無需本地複製它們,這需要花費兩倍的時間來創建新的Spark會話。 – Maziyar
原因是,每次飛艇需要重啓時,執行程序都會被殺死,因此緩存會丟失。爲了避免這種行爲,spark應該像紗線羣集一樣運行,以便驅動程序在應用程序主控中運行。 –
添加到您的評論中,yarn-cluster管理所有來自HDFS的JAR,而無需本地複製它們,這需要花費兩倍的時間來創建新的Spark會話。 – Maziyar