Protobuf-net與泛型進行反序列化時要求TypeModel.CS

Question

我有數十億個對象，我試圖在B +樹中將它們構造爲序列化到HDD。我使用數據結構的BPlusTree庫和序列化/反序列化的protobuf-net。在這方面，我定義我類爲：

[ProtoContract] 
    public class B<C, M> 
     where C : IComparable<C> 
     where M : IData<C> 
    { 
     internal B() 
     { 
      lambda = new List<Lambda<C, M>>(); 
      omega = 0; 
     } 

     internal B(C coordinate) 
     { 
      lambda = new List<Lambda<C, M>>(); 
      e = coordinate; 
      omega = 0; 
     } 

     [ProtoMember(1)] 
     internal C e { set; get; } 

     [ProtoMember(2)] 
     internal List<Lambda<C, M>> lambda { private set; get; } 

     [ProtoMember(3)] 
     internal int omega { set; get; } 
    } 


[ProtoContract] 
public class Lambda<C, M> 
    where C : IComparable<C> 
    where M : IData<C> 
{ 
    internal Lambda() { } 

    internal Lambda(char tau, M atI) 
    { 
     this.tau = tau; 
     this.atI = atI; 
    } 

    [ProtoMember(1)] 
    internal char tau { private set; get; } 

    [ProtoMember(2)] 
    internal M atI { private set; get; } 
} 

和我定義我串行/解串器如下：

public class BSerializer<C, M> : ISerializer<B<C, M>> 
     where C : IComparable<C> 
     where M : IData<C> 
    { 
     public B<C, M> ReadFrom(System.IO.Stream stream) 
     { 
      return Serializer.Deserialize<B<C, M>>(stream); 
     } 

     public void WriteTo(B<C, M> value, System.IO.Stream stream) 
     { 
      Serializer.Serialize<B<C, M>>(stream, value); 
     } 
    } 

然後我使用它們都在一個B +樹（This library）數據結構，其定義爲：

var options = new BPlusTree<C, B<C, M>>.OptionsV2(CSerializer, BSerializer); 
var myTree = new BPlusTree<C, B<C, M>>(options); 

B +樹被定義爲鍵值對的字典。我的key（即，C）是一個整數，串行器是默認的串行器BPlusTree庫。我的Value是使用protobuf-net序列化的自定義對象B<C,M>。

我的問題肯定會發生，但幾乎在隨機時間;總是搜索Keys，它突然開始反序列化Value，並在第一次調用B<C, M> ReadFrom(System.IO.Stream stream)時要求輸入TypeModel.CS和ProtoReader.CS文件。我從NuGet獲得兩個包。

Answer 1

檢查代碼，它看起來像調用代碼假定序列化知道他們自己的長度;從源：

foreach (T i in items) 
    _serializer.WriteTo(i, io); 

的Protobuf消息不是自終止 - 谷歌的protobuf的規範定義了附加===合併。因此，你需要給消息加上前綴。幸運的是，您應該可以切換到SerializeWithLengthPrefix和DeserializeWithLengthPrefix。如果這不起作用，那麼將一個完全可重現的例子放在一起是值得研究的。

Answer 2

作爲一種替代的方法來解決這個問題，你也可以聚集內置serailizers的行爲：

class BSerializer<C, M> : ISerializer<B<C, M>> 
     where C : IComparable<C> 
     where M : IData<C> 
    { 
     public B<C, M> ReadFrom(System.IO.Stream stream) 
     { 
      byte[] value = CSharpTest.Net.Serialization.PrimitiveSerializer.Bytes.ReadFrom(stream); 
      return Serializer.Deserialize<B<C, M>>(new MemoryStream(value)); 
     } 

     public void WriteTo(B<C, M> value, System.IO.Stream stream) 
     { 
      using (var memory = new MemoryStream()) 
      { 
       Serializer.Serialize<B<C, M>>(memory, value); 
       CSharpTest.Net.Serialization.PrimitiveSerializer.Bytes.WriteTo(memory.ToArray(), stream); 
      } 
     } 
    } 

注：此方法可以是一個性能問題，由於數據的不必要的副本;但是，它可以幫助解決問題。

另一種可能性是簡單地將樹定義爲BPlusTree<TKey, byte[]>並提供PrimitiveSerializer.Bytes作爲值串行器。這將對象序列化的負擔放在調用者身上，這可能是一件非常好的事情。這可能是有益的原因有兩個：

1. 您的對象模型不再需要是不可變的。
2. 如果對象的反序列化很昂貴，那麼在隨機訪問使用中可能會更好。

對於其他常見的序列化問題和一些例子，請閱讀下面的文章：

http://csharptest.net/1230/bplustree-and-custom-iserializer-implementations/