kryo

4熱度

1回答

我需要通過添加兩個新參數來修改類。這個類與Kryo序列化。我每次停止流時都會持續保留與此課程有關的信息，其中包括RDD。當我重新啓動流時，我加載了先前保存的信息，並使用它們在停止和重新啓動時保持一致。由於I類堅持需要這些新參數，因此我通過爲新參數添加新的kryo.writeObject(output, object, ObjectSerializer)和kryo.readObject(inp

1熱度

2回答

來自kafka的java bean的Storm Kafkaspout KryoSerialization問題主題

嗨，我是Storm和Kafka的新手。我使用風暴1.0.1和kafka 0.10.0 我們有一個kafkaspout可以從kafka主題接收java bean。我已經花了幾個小時挖掘找到正確的方法。發現了很多有用的文章，但到目前爲止，還沒有任何方法對我有用。以下是我的代碼： StormTopology： public class StormTopology { public stati

1熱度

1回答

Twitter Android上的Chill crash

我在嘗試Kryo + Chill（com.twitter:chill_2.11:0.8.0和Scala版本是2.11.8）。以下代碼在桌面上運行良好，但在Android上崩潰。 case class TestDogRef(id: Int) case class TestDog(ref: TestDogRef, name: String, friends: Seq[TestDogRef]

3熱度

1回答

kryo序列化對不可序列化的類和類是否有不可序列化的屬性？

我想使用Kryo庫將任何給定的對象轉換爲byteArray並存儲在數據存儲或隊列中供以後使用。但是是否有可能序列化任何給定的對象，或者只有實現可序列化接口的對象才能被轉換。

1熱度

1回答

星火KRYO編碼器ArrayIndexOutOfBoundsException異常

我試圖創建使用火花和ESRI一些地理數據的數據集。如果Foo只有Point領域，它會工作，但如果我添加一些其他的領域超過Point，我得到ArrayIndexOutOfBoundsException異常。 import com.esri.core.geometry.Point import org.apache.spark.sql.{Encoder, Encoders, SQLContext}

0熱度

1回答

錯誤使用斯巴克的KRYO串行器與具有字符串

我用java協議緩衝區類爲Spark中工作RDDS對象模型時創下了錯誤的數組的java協議緩衝區，對於我的申請，我的，原型文件具有重複字符串的屬性。例如 message OntologyHumanName { repeated string family = 1; } 由此看來，2.5.0 protoc編譯器生成的Java代碼一樣 private com.google.protobuf

1熱度

2回答

Kryo序列化程序在運行時發生IllegalAccessError

我們試圖使用Kryo序列化程序來序列化我們的應用程序對象，以將它們推送到kafka流中。序列化代碼 private ThreadLocal<Kryo> kryos = new ThreadLocal<Kryo>() { protected Kryo initialValue() { Kryo kryo = new Kryo(); kryo.addDefau

1熱度

1回答

Spark序列化策略 - 我應該獨家使用Kryo嗎？

我是新來的火花。甚至更新Kryo。在我的Spark應用程序中，我使用kryo來序列化值對象，但只是使用Serializable接口來存放算法的對象......原因是我不想使用Kryo註冊每個類。我應該獨家使用kryo嗎？混合&匹配好（就像我在做什麼）？

1熱度

1回答

Kryo會自動註冊字段中使用的類嗎？

使用Spark，決定使用Kryo，因爲它是推薦的de/serializer。說我有： public Class1 { private Class2 field1; } 我需要註冊這兩個Class1的& Class2中或剛剛註冊的Class1自動註冊也Class2中？

1熱度

1回答

反序列化的Java對象

我有一個卡夫卡消費者，目前與配置 public class KryoPOJODeserializer<T> implements Deserializer<T> { private Kryo kryo = new Kryo(); @Override public void configure(Map props, boolean isKey) { kr