livy

1熱度

2回答

我正在嘗試通過livy使用rest api提交spark工作。但是，如果我多次運行同一個腳本，它會運行具有不同作業ID的多個工作實例。我正在尋找一種方法來殺死火花/紗線作業在開始一個新的之前運行同名。 livy文件（https://github.com/cloudera/livy#batch）刪除批量作業，但livy會話不返回應用程序名稱，只是應用程序id返回。是否有另一種方法可以做到這一點？

0熱度

1回答

在Livy（沒有安裝Hadoop）的批處理模式下提交Python文件

我已經做了一個簡單的python文件，它想要在Livy.Livy中提交，目前運行在local mode.Also我在livy.conf文件中提到了以下屬性。 curl -X POST --data '{"file": "/usr/local/livy/scripts/pi.py"}' -H "Content-Type: application/json" 10.140.178.24:8999/ba

0熱度

1回答

獲取集羣上的Livy版本

如何獲取我在集羣中使用的livy版本是什麼？我們在羣集節點上都有livy客戶端和服務器，但我需要知道它的版本最好在horthonwork羣集上。與李維安裝在節點上

0熱度

1回答

如何向Livy提交依賴的JAR？

我在HDInsight上使用Livy將作業提交給Spark羣集。我將我的代碼寫入並編譯到JAR中，但它有多個依賴項，其中一些依賴於自定義存儲庫。我該如何讓Livy自己解決這些依賴關係？我不想提交一個胖的jar包，因爲依賴關係總是在變化，我不喜歡涉及到的ops努力。

1熱度

1回答

在zeppelin中顯示全列大小sql

我只是想顯示沒有截斷的列到select中，我有一個數組或一個非常大的長度的Map。我用飛艇來查詢DF寄存器作爲臨時表： %livy.sql select * from maTable 我想有Consommeur列全長我得到的是這樣的：你有任何想法？

0熱度

1回答

如何在Windows上構建Livy客戶端？

我想在Windows上編寫一個Java應用程序，該應用程序使用Livy的Java API與遠程託管的Apache Livy服務器通信。該docs說： Add the Livy client dependency to your application's POM: <dependency> <groupId>org.apache.livy</groupId> <artifact

0熱度

1回答

curl：如何在Windows上使用Kerberos代替NTLM身份驗證？

我試圖連接到Kerberos安全下的Livy REST服務。在Linux CentOS的curl與negotiate正常工作，接收一個Kerberos kinit票通過 curl --negotiate -u : http://service_link 我面對的是試圖做同樣的遠程Windows桌面上的問題連接後。我正在使用Windows的MIT Kerberos，它能夠成功執行kinit。但是

0熱度

1回答

Livy錯誤RSCClient：無法連接到上下文

我正在Scala ApI中運行Livy客戶端應用程序，Livy的版本是0.3.0，Spark版本的版本是1.6.0。以下是主要代碼。 def main(args: Array[String]): Unit = { var scalaClient: LivyScalaClient = null val livyurl = "http://172.24.4.110:8998" try {

0熱度

1回答

當我使用「mvn clean package」構建Livy時未能在存儲庫中找到jar

我是Livy的新手，並且我構建了Livy，正如官方說的。該命令如下： git clone https://github.com/apache/incubator-livy.git cd incubator-livy mvn package 然後我得到錯誤如下： [ERROR]插件org.apache.maven.plugins：行家-實施者-插件：1.4.1或一個無法解決：無法找到

1熱度

1回答

如何在Livy作業中通過其Java API設置代理用戶

我正在使用Livy的Java API在我的集羣上的YARN上提交Spark作業。目前這些工作是以「livy」用戶的身份提交的，但我想以Livy的代理用戶身份提交工作。通過在POST數據中傳遞一個字段，可以通過向Livy服務器發送POST請求來完成此操作。我在想如果這可以通過Livy的Java API來完成。我使用的是標準的方式來提交作業： LivyClient client = new Liv