傑克遜圖書館的Hadoop和德魯伊不兼容問題

我在具有HDP洞察2.4.1.1-3的Azure集羣上運行druid 0.9.0。 hadoop客戶端是2.7.1。經過無數嘗試與傑克遜解決這一問題，特別是：傑克遜圖書館的Hadoop和德魯伊不兼容問題

Error: class com.fasterxml.jackson.datatype.guava.deser.HostAndPortDeserializer overrides final method deserialize.

我已經試過這裏

https://github.com/druid-io/druid/blob/master/docs/content/operations/other-hadoop.md

記錄無濟於事所有的解決方法。

根據另一個面臨相同問題的用戶建議的陰影傑克遜依賴項後，重新編譯失敗。

我想最後一個病例是加入我的索引任務的

"mapreduce.job.user.classpath.first": "true"

到jobProperties財產，結果如下：

Diagnostics: Exception from container-launch. 
Container id: container_e02_1461544451524_0047_05_000001 
Exit code: 1 
Stack trace: ExitCodeException exitCode=1: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:576) 
    at org.apache.hadoop.util.Shell.run(Shell.java:487) 
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:753) 
    at org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor.launchContainer(LinuxContainerExecutor.java:371) 
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:303) 
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82) 
    at java.util.concurrent.FutureTask.run(FutureTask.java:262) 
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
    at java.lang.Thread.run(Thread.java:745) 
Shell output: main : command provided 1 
main : run as user is nobody 
main : requested yarn user is druid

我們正在試圖運行索引作業。

任何幫助將不勝感激。有沒有人在相同的設置中取得任何成功？

來源

2016-04-27 Stelios Savva

發生的情況是jackson-datatype-guava的版本與jackson-databind有不同的次版本;大概番石榴一個更新。版本應該匹配，但有些組合可以工作;一個你沒有。可能發生的情況是jackson-databind的一些早期版本具有特定方法final，但是在更高版本中已經放寬了限制。

來源

2016-05-06 04:43:22 StaxMan

傑克遜圖書館的Hadoop和德魯伊不兼容問題

回答

相關問題