讀原部分地，而不是在Java

完全解析我用於定義一個proto文件，例如讀原部分地，而不是在Java

option java_package = "proto.data"; 
message Data { 
    repeated string strs = 1; 
    repeated int ints = 2; 
}

我從網絡接收到的該對象的輸入流（或字節）。然後，通常我會執行像Data.parserFrom(stream)或Data.parserFrom(bytes)這樣的解析來獲取對象。由此，我不得不在數據對象上保存完整的內存，而我只需要在對象中傳送所有字符串和整數值。當對象大小很大時很糟糕。

該怎麼辦？

來源

2015-03-31 linkinsteps

不幸的是，沒有辦法解析protobuf的一部分。如果你想確定你已經看到全部的strs或所有的ints，你必須解析整個消息，因爲值可能以任何順序出現甚至交錯。

如果你只關心內存使用情況而不關心CPU時間，那麼理論上你可以使用手寫解析器來解析消息並忽略你不關心的字段。你仍然需要做解析工作，你可以立即丟棄它們，而不是將它們保存在內存中。但是，要做到這一點，你需要研究Protobuf wire format並編寫自己的解析器。您可以使用Protobuf的CodedInputStream類，但仍需要手動完成大量工作。 Protobuf庫確實不是爲此設計的。

如果您願意考慮使用不同的協議框架，Cap'n Proto在設計上與Protobufs非常相似，但功能僅能夠讀取您關心的部分消息。 Cap'n Proto對沒有檢查的字段沒有任何開銷，除了明顯的帶寬和內存接收原始消息字節。如果您正在讀取文件，並使用內存映射（Java中爲MappedByteBuffer），則只有實際使用的消息部分將從磁盤讀取。

（披露：我的大多數谷歌Protobufs V2（您可能正在使用的版本），以及頭兒原的作者。）

來源

2015-03-31 16:14:37

嗯。看起來它可能已經實施，但沒有充分的文件記錄。你測試過了嗎？

見討論： https://groups.google.com/forum/#!topic/protobuf/7vTGDHe0ZyM

參見，樣品測試代碼在谷歌的github上： https://github.com/google/protobuf/blob/4644f99d1af4250dec95339be6a13e149787ab33/java/src/test/java/com/google/protobuf/lazy_fields_lite.proto

來源

2015-09-04 19:17:19 kalyanmysore

讀原部分地，而不是在Java

回答

相關問題