kryo

1熱度

1回答

我在使用Kryo序列化器的Spark（v1.6.1）應用程序中從Kafka接收到protobuf對象。在protobuf的物體看起來是這樣的 - private A() { abc_ = ""; xyz_ = ""; ... some more fields aList_ = java.util.Collections.emptyList()

1熱度

1回答

如何設置KRYO的不可修改的Collection串行火花代碼

我在Java中使用的火花（V1.6.1）KRYO序列化和序列化的同時具有收藏在該領域的一類，它引發以下錯誤 - Caused by: java.lang.UnsupportedOperationException at java.util.Collections$UnmodifiableCollection.add(Collections.java:1055) at com

0熱度

1回答

Apache spark - 如果您錯誤地拼寫屬性會發生什麼

我正在修改Apache spark中的默認屬性。我在AWS上使用EMR旋轉集羣。但是，我正在設置屬性，並且不確定如何檢查我的新配置是否替換默認配置。作爲一個例子，我想修改Spark中的默認序列化。因此，我在創建羣集時提供以下配置。「分類」：「火花默認」，「屬性」：{ 「spark.serializer」：「org.apache.spark.serializer：KryoSerialize

1熱度

1回答

警告：[Kryo]無法使用Kryo的類加載器加載類x

警告：[kryo]無法使用kryo的ClassLoader加載類slade.core.Child。重試與目前... 無法找到類：slade.core.Child 序列化跟蹤：子（slade.core.Parent）我有一個問題，即嘗試反序列化根對象類型中包含的自定義對象類型時，Kryo拋出上述錯誤。這隻發生在從OSGi包內運行並從另一個OSGi包內引用對象時。（我使用Karaf作爲我的OSG

1熱度

1回答

反序列化對象的瞬態成員到非空默認使用KRYO

public class MyObj implements Serializable { private transient Map<String, Object> myHash = new HashMap<String, Object>(); ... } 我覺得這個問題 Deserialize a transient member of an object to a n

1熱度

1回答

Spark Streaming：自定義接收器kryo使用Google Pubsub註冊

我使用Spark 2.0.2和Kryo序列化。我試圖實現自定義接收器從谷歌PubSub的攝入消息到星火流：運行使用該接收機火花作業時 class PubSubReceiver(project: String, topic: String, subscription: String) extends Receiver[Array[Byte]](StorageLevel.MEMORY_

0熱度

1回答

用kryo序列化註冊類的含義

我不明白爲kryo序列化註冊類是什麼意思。給一些背景link在這裏說， KRYO並不支持所有的序列化類型，並需要您提前註冊，你將在程序中使用的類以獲得最佳性能。同樣，我不明白註冊一個類是什麼意思？序列化代碼不是靜態的，因爲您應用相同的邏輯序列化所有類型的對象。那麼先進的將會被序列化的類會怎麼幫助呢？謝謝！

0熱度

1回答

Spark＆Drools - 如何用Kryo序列化KieBase

我在異常中運行，試圖序列化Spark中的KieBase對象。當我執行以下代碼： val kieBase = kieContainer.getKieBase val broadcastKieBase = spark.sparkContext.broadcast(kieBase) 甲ConcurrentModificationException升高在螺紋異常「主」 com.esoteric

0熱度

1回答

com.esotericsoftware.kryo.KryoException：無法創建類（缺少無參數構造函數）：scala.Tuple2

我無法通過在scala上使用Kryo進行序列化的最簡單示例。我需要爲此註冊一個特定的序列化程序嗎？感謝 val kryo = new Kryo() kryo.setRegistrationRequired(false) kryo.register(classOf[scala.Tuple2[Any, Any]]) val intstringtuple = (100,

0熱度

1回答

如何單元測試一個類是可序列化的火花？

我剛剛在spark中發現了一個類的序列化錯誤。 =>現在，我想做一個單元測試，但我不知道如何？注：故障在已經廣播的（解）序列化對象追加。我要考什麼火花會做，斷言它會工作一旦部署類序列化是一個標準類（不區分類別）延伸串行