kryo

    3熱度

    1回答

    星火文檔指出,所有你需要做的就是註冊類,並添加兩個變量對conf: import com.esotericsoftware.kryo.Kryo import org.apache.spark.serializer.KryoRegistrator class MyRegistrator extends KryoRegistrator { override def registerCl

    7熱度

    2回答

    我很努力地理解在Spark中上下文中究竟是Arvo,Kryo和Parquet做了什麼。他們都與序列化有關,但我已經看到他們一起使用,所以他們不能做同樣的事情。 Parquet將自己描述爲一種柱狀存儲格式,我有種感覺,但是當我保存鑲木地板文件時,Arvo或Kryo可以與它做什麼?或者它們只在火花工作期間相關,即。在洗牌或溢出到磁盤期間通過網絡發送對象? Arvo和Kryo​​有什麼不同,以及將它們一

    1熱度

    1回答

    我想通過Twitter的chill-scala庫使用Kryo序列化一個Scala類的實例。它來自一個圖書館(外部的罐子),因此,我認爲,需要向Kryo註冊。 如何使用chill-scala註冊一個類以(de)序列化? 這裏是我的代碼的核心,主要基於檢查寒冷的斯卡拉測試套件。 // This is from the chill-scala test suite def serialize[T](t

    0熱度

    1回答

    我想用戶kryo序列化一個自定義類本身包含一些自定義對象,更具體地是自定義對象的HashMap。我想知道處理這種事情的正確方法。下面是我嘗試序列化(數據)的類,嵌套的類以及當前的kryo實現。這是正確的方法? public class Data { int id, int name, ItemList items; } public Class ItemList

    2熱度

    1回答

    我是新來的Netty 4.0.29,並努力使自定義對象編碼器,並使用KRYO作爲序列化庫對象解碼器,我無法使它工作。因爲我是Netty的新手,也許這就是我搞亂某些東西的原因。我使用MessageToMessageEncoder和MessageToMessageDecoder 這裏是我的編碼器 - public class KryoEncoder extends MessageToMessageEn

    1熱度

    1回答

    我發現了兩種如何使用Kryo一般讀寫的方法,我在考慮如果其中一個更好或更差或者它們只是相同。 選項1 - 使用KRYO函數writeClassAndObject(readClassAndObject) public <T> void writeK(T obj, String fileName) { checkDir(path); Kryo kryo = new Kryo();

    0熱度

    1回答

    我有一個只接受字符串作爲鍵的緩存。這個緩存是遺留系統的一部分,我不能修改它們。要使用此緩存,我需要將緩存鍵轉換爲字符串。 使我的緩存鍵字符串串行它使用KRYO。將它們轉換爲bytes[],並在bytes[]中創建string。你有沒有看到這樣做的問題?現在用下面的代碼轉換爲bytes[] 獲取字節[]使用KRYO: - final Kryo kyroInstance = serializerIns

    0熱度

    1回答

    運行Gradle構建時,測試失敗。 PS: 1. Gradle使用正確的JDK(1.6)來構建。 2.我用JDK 1.7試過這個,同樣的錯誤也出現在那裏。 3.當我在本地(使用JDK 1.6)在Linux/windows上構建它時,我沒有看到這個錯誤4.機器但機器中的一個給我這個錯誤。 我的小號 1.可以做些什麼來解決com.esotericsoftware.kryo.KryoException:

    2熱度

    1回答

    我對Kafka和Kryo​​非常陌生。我一直在使用默認的Kafka Serializer來處理Kafka上的簡單String消息,但是我試圖使用Kryo Serialization而沒有成功。 有人可以解釋或顯示一個通過kryo序列化(生產者和消費者)向卡夫卡發送一些Java對象的例子嗎? 我已經看到了有關同一主題沒有答案的其他問題,我不能評論它。提前道歉。 謝謝。

    0熱度

    1回答

    我正試圖找到一種方法來用Java中的目錄結構序列化數據。我要保存的數據是股票交易記錄,每個記錄都包含股票名稱,價格,時間和交易量。我知道如何在沒有任何層次結構的情況下對這些記錄進行序列化(「貿易」類的實例),但我必須仔細閱讀所有數十億條記錄,以便在閱讀時收集單個特定股票的數據。所以,我希望數據能夠通過股票名稱進行分割,所以當需要少量股票的數據時,我的閱讀表現會更快。 我知道你可以在HDF5中創建這