Spark：在將它保存到序列文件之前，我能壓縮字節嗎？

Question

目前，我使用

map(m => (NullWritable.get() -> new BytesWritable(m.toByteArray))).saveAsSequenceFile(path, Some(classOf[SnappyCodec])) 

1）我想獲得每一個壓縮byteArray的大小，寫的大小，然後再寫入壓縮事件。

是否可以在保存之前壓縮byteArray的每個塊？

Answer 1

你可以嘗試以下

map(m => (m.toByteArray.length -> new BytesWritable(m.toByteArray))).saveAsSequenceFile(path, Some(classOf[SnappyCodec]))