如何使用與Spark不可序列化的第三方庫

Question

我想在Spark中使用第三方庫（Wiremock）。但是，我得到以下例外：

Caused by: java.io.NotSerializableException:com.github.tomakehurst.wiremock.WireMockServer 
Serialization stack: 
    - object not serializable(class:com.github.tomakehurst.wiremock.WireMockServer, value: com.github.tomakehurst.wiremock.WireMockServer@51813065) 

是否有一種通用的方法來處理此問題？

Answer 1

有幾個選項：

1. KRYO也許能夠序列化這些對象開箱，根據裏面有什麼他們。請嘗試將其作爲在http://spark.apache.org/docs/latest/tuning.html
2. 說明如果不工作，你可以創建一個實現Serializable，或com.github.tomakehurst.wiremock.WireMockServer甚至一個子類自己的「包裝」的對象。無需更改原始庫。
3. 如果庫有自己的序列化函數，也可以在包裝器對象中使用它們。看一看https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/SerializableWritable.scala的例子，其中Spark使Hadoop的Writable可串行化。

Answer 2

您可以製作不可序列化的字段transient。那麼它將不會被序列化。

private transient WireMockServer wireMockServer;