訪問當前livy會話中的數據文件

Question

我在YARN模式下運行Hadoop上的Spark羣集。我配置了Livy服務器來交互並將客戶端火花作業提交給火花集羣。 我上傳了一個數據文件以及來自java程序的jar到Livy，它被上傳到HDFS中的.livySessions文件夾中。

LivyClient client = new LivyClientBuilder(true).setURI(new URI("http://191.111.123.11:8998")).build(); 
client.uploadFile(new File("/C:/HAL/kmeans_data.txt")).get(); 
Object str = client.uploadJar(new File("/C:/Users/msingh/livy-spring-app-1.3.6.RELEASE.jar")).get(); 

我應該如何配置我的程序從當前的Livy會話讀取數據文件執行。

Answer 1

您可以使用SparkFiles.get（）從Spark工作中獲取這些文件。試着讓我知道。