kryo

1熱度

1回答

如何使用Apache Flink在com.esotericsoftware.kryo.Kryo.readObject上解析NPE？

我爲我的pojo類使用Flink和自定義kryo類。但是，讓 Caused by: java.lang.NullPointerException at MyTreeSerializer.read(MyTreeSerializer.java:36) at MyTreeSerializer.read(MyTreeSerializer.java:11) at com.eso

1熱度

1回答

SPARK到HBase的在我的SPARK程序編寫

的流程如下：驅動器 - > HBase的連接創建 - >廣播HBase的從遺囑執行人處理現在，我們取這個把手，並試圖寫入到HBase的在驅動程序，我創建HBase的CONF對象和連接對象，然後通過JavaSPARK上下文廣播它如下： SparkConf sparkConf = JobConfigHelper.getSparkConfig(); Configuration co

0熱度

1回答

編年史地圖中的Kryo序列化 - 慢字節讀取

我在Scala中廣泛使用編年史地圖，最近決定嘗試使用Kryo序列化。我添加了定製marshallers（代碼如下），同時它將我的商店規模縮小了14G（大約62％），而且一切仍然有效，但速度令人無法接受。我創建了一個示例用例，並做了一些運行在相同的數據 [Using kryo] took 6883, and then 7187, 6954, 7225, 13051 [Not using kryo

0熱度

1回答

Hive - GenericUDTF - 由於kryo stackoverflow異常導致runQuery失敗

HiveServer2;蜂巢版本：1.2 我想運行一個查詢，其中包含一個自定義的UDF類（實現GenericUDTF）。 UDF類包含一個樹對象，它用於計算。當樹很小時，查詢運行正常。但樹增長時，查詢失敗，出現以下錯誤： org.apache.hive.service.cli.HiveSQLException：處理語句時出錯：FAILED：執行錯誤，從org.apache返回代碼-101 .h

1熱度

2回答

kryo序列化風暴

我需要通過apache風暴（部署在遠程集羣中）序列化複雜對象（opencv：Mat）。任何人都可以建議我一個很好的教程自定義kryo序列化或提出解決方案如何做到這一點？在此先感謝！

0熱度

1回答

爲什麼Apache Flink在方法org.apache.flink.api.java.typeutils.runtime.kryo.Serializers.getContainedGenericTypes中停滯？

在實現我的算法的同時，我在Apache Flink for循環中創建了一個長鏈運算符。在實際處理之前，從方法 org.apache.flink.api.java.typeutils.runtime.kryo.Serializers.getContainedGenericTypes中的某些長度處理停頓開始很長一段時間。這個現象怎麼解釋？如何解決這個問題以縮短這種方法的時間？

1熱度

1回答

如何使用kryo序列化器在spark中註冊StringType $

我試圖在spark中使用kryo序列化器。我已設置spark.kryo.registrationRequired=true以確保我正在註冊所有必需的課程。除了要求我註冊我的自定義類之外，它還要求我註冊Spark類以及StructType。雖然我註冊了火花StringType，但它現在崩潰了，說我還需要註冊StringType$。 com.esotericsoftware.kryo.KryoExc

1熱度

1回答

Spark Kryo序列化寄存器數據類型[]

要強制spark使用kryo序列化，可以設置以下選項spark.kryo.registrationRequired。如何註冊org.apache.spark.sql.types.DataType[]？ Class is not registered: org.apache.spark.sql.types.DataType[] 這是拋出異常。但試圖註冊像classOf[org.apache.s

0熱度

1回答

kryo序列化 - Java序列化期間的錯誤

我的應用程序有大量域對象，它們通過spring-session被序列化到Redis存儲中。我試圖使用Kryo（4.0.0）進行自動序列化，而不使對象明確可序列化。我在嘗試序列化尚未實現的對象Serializable時收到以下錯誤。 com.esotericsoftware.kryo.KryoException: Error during Java serialization. com.

2熱度

1回答

Spark流：com.esotericsoftware.kryo.KryoException：java.lang.IllegalArgumentException：類未註冊：scala.Tuple2 $ mcJZ $ sp

我想在火花流中使用Kryo串行器。我在Spark tuning docs閱讀 - 最後，如果您沒有註冊您的自定義類，KRYO仍將工作，但它必須完整的類名存儲與每個對象，這是一種浪費。所以我想要註冊所有的類。我的情況下，類 - trait Message extends java.io.Serializable object MutableTypes { type Childs