如何在火花中使用jni？

Question

我想用jni在spark中調用我的C++ lib。當我運行我的程序時，它顯示java.lang.UnsatisfiedLinkError：java.library.path中沒有hq_Image_Process，所以顯然程序找不到我的hq_Image_Process.so。

在Hadoop中，-files可以xxx.so文件分發到這樣的奴隸：

[hadoop@Master ~]$ hadoop jar JniTest3.jar -files /home/hadoop/Documents/java/jni1/bin/libFakeSegmentForJni.so FakeSegmentForJni.TestFakeSegmentForJni input output 

有什麼方法叫我hq_Image_Process.so像火花Hadoop的？ 我將不勝感激任何幫助。

Answer 1

首先，本機庫必須預先安裝在所有工作節點上。路徑到磁帶庫必須在spark-env.sh指定：

export SPARK_LIBRARY_PATH=/path/to/native/library 

SPARK_PRINT_LAUNCH_COMMAND環境變量可以用於診斷它：

export SPARK_PRINT_LAUNCH_COMMAND=1 

如果一切都設置正確，你會看到這樣的輸出：

Spark Command: 
/path/to/java -cp <long list of jars> -Djava.library.path=/path/to/native/library <etc> 
========================================