C#中protobuf-net的编码结构及使用方法

分类：C#作者：二次元攻城狮

目录

protobuf-net简介

Protocol Buffer(简称Protobuf) 是 Google 公司内部提供的数据序列化和反序列化标准，与 JSON 和 XML 格式类似，同样大小的对象，相比 XML 和 JSON 格式， Protobuf 序列化后所占用的空间最小。
Protocol Buffers 是一种轻便高效的结构化数据存储格式，可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。

protobuf-net是用于.NET代码的基于契约的序列化程序，它以Google设计的“protocol buffers”序列化格式写入数据，适用于大多数编写标准类型并可以使用属性的.NET语言。
protobuf-net可通过NuGet安装程序包，也可直接访问github下载源码：https://github.com/protobuf-net/protobuf-net 。

ProtoBuf编码原理

这里只是简单介绍一下ProtoBuf的编码结构，然后通过一个简单的序列化示例熟悉ProtoBuf的大致编码过程，具体编码规则参考ProtoBuf官网：https://developers.google.cn/protocol-buffers

编码结构

TLV （Tag - Length - Value）格式：Tag 作为该字段的唯一标识，Length 代表 Value 数据域的长度，最后的 Value 便是数据本身。

ProtoBuf 编码采用类似TLV的结构，其编码结构可见下图：


注：其中的 Start group 和 End group 两种类型已被遗弃。

一个 message 编码将由一个个的 field 组成，每个 field 根据类型将有如下两种格式：

  • Tag - Length - Value：编码类型表中 Type = 2 即 Length-delimited 编码类型将使用这种结构，
  • Tag - Value：编码类型表中 Varint、64-bit、32-bit 使用这种结构。

Tag 由字段编号 field_number 和 编码类型 wire_type 组成，Tag 整体采用 Varints 编码，wire_type可用的类型如下:

Type Meaning Used For
0 Varint int32, int64, uint32, uint64, sint32, sint64, bool, enum
1 64-bit fixed64, sfixed64, double
2 Length-delimited string, bytes, embedded messages, packed repeated fields
3 Start group groups (deprecated,遗弃)
4 End group groups (deprecated,遗弃)
5 32-bit vfixed32, sfixed32, float

Varints 编码：在每个字节开头的 bit 设置了 msb(most significant bit )，标识是否需要继续读取下一个字节，存储数字对应的二进制补码，补码的低位排在前面，类似小端模式。
ZigZag 编码：有符号整数映射到无符号整数，然后再使用 Varints 编码，sint32、sint64 将采用 ZigZag 编码（编码结构依然为 Tag - Value）。

解析一个编码结果

准备一个Person类（来自github示例）：

[ProtoContract]
class Person
{
    [ProtoMember(1)]
    public int Id { get; set; }
    [ProtoMember(2)]
    public string Name { get; set; }
    [ProtoMember(3)]
    public Address Address { get; set; }
}

[ProtoContract]
class Address
{
    [ProtoMember(1)]
    public string Line1 { get; set; }
    [ProtoMember(2)]
    public string Line2 { get; set; }
}

实例化并赋值：

var person = new Person
{
    Id = 12345,
    Name = "Fred",
    Address = new Address
    {
        Line1 = "Flat 1",
        Line2 = "The Meadows"
    }
};

序列化后的结果：

//十六进制
08-B9-60-12-04-
46-72-65-64-1A-
15-0A-06-46-6C-
61-74-20-31-12-
0B-54-68-65-20-
4D-65-61-64-6F-
77-73

//二进制
00001000-10111001-01100000-00010010-00000100-
01000110-01110010-01100101-01100100-00011010-
00010101-00001010-00000110-01000110-01101100-
01100001-01110100-00100000-00110001-00010010-
00001011-01010100-01101000-01100101-00100000-
01001101-01100101-01100001-01100100-01101111-
01110111-01110011
  • 第1个字节 00001000 ：表示filed_name=1，write_type=0，既Id字段的Tag;
  • 第2个字节 10111001 ：Id字段的Value，高位1表示继续读取下一字节；
  • 第3个字节 01100000 ：Id字段的Value的高位，高位0表示不继续读取下一字节，组合后的值为1100000 0111001‬（Varints 编码），十进制值为12345；
  • 第4个字节 00010010 ：表示filed_name=2，write_type=2(需显式告知长度)，既Name字段的Tag;
  • 第5个字节 00000100 ：Name字段的Length,高位0表示不继续读取下一字节，长度为4；
  • 第6-9个字节 46-72-65-64 ：Name字段的Value，"Fred"的ASCII码；
  • 第10个字节 00011010 ：表示filed_name=3，write_type=2，既Address字段的Tag;
  • 第11个字节 00010101 ：Address字段的Length，高位0表示不继续读取下一字节，长度为21；
  • 第12个字节 00001010 ：表示filed_name=1，write_type=2，既Address的Line1字段的Tag;
  • 第13个字节 00000110 ：Address的Line1字段的Length,高位0表示不继续读取下一字节，长度为6；
  • 第14-19个字节 46-6C-61-74-20-31 ：Address的Line1字段的Value，"Flat 1"的ASCII码；
  • 第20个字节 00010010 : 表示filed_name=2，write_type=2，既Address的Line2字段的Tag;
  • 第21个字节 00001011 ：Address的Line2字段的Length,高位0表示不继续读取下一字节，长度为11；
  • 第22-32个字节 54-68-65-20-4D-65-61-64-6F-77-73 ：Address的Line2字段的Value，"The Meadows"的ASCII码。

使用方法

下面是一个ProtoBuf-Net的扩展方法类，提供了字符串、字节数组、二进制文件与对象实例之间的互相转换方法，代码如下：

using System;
using System.IO;

/*
 * 博客园首发 https://www.cnblogs.com/timefiles/
 * 创建时间：2021-04-10
 */

/// <summary>
/// ProtoBuf-Net扩展方法类
/// </summary>
public static class ProtoBufExtension
{
    /// <summary>
    /// 将对象实例序列化为字符串（Base64编码格式）——ProtoBuf
    /// </summary>
    /// <typeparam name="T">对象类型</typeparam>
    /// <param name="obj">对象实例</param>
    /// <returns>字符串（Base64编码格式）</returns>
    public static string SerializeToString_PB<T>(this T obj)
    {
        using (MemoryStream ms = new MemoryStream())
        {
            ProtoBuf.Serializer.Serialize(ms, obj);
            return Convert.ToBase64String(ms.GetBuffer(), 0, (int)ms.Length);
        }
    }

    /// <summary>
    /// 将字符串（Base64编码格式）反序列化为对象实例——ProtoBuf
    /// </summary>
    /// <typeparam name="T">对象类型</typeparam>
    /// <param name="txt">字符串（Base64编码格式）</param>
    /// <returns>对象实例</returns>
    public static T DeserializeFromString_PB<T>(this string txt)
    {
        byte[] arr = Convert.FromBase64String(txt);
        using (MemoryStream ms = new MemoryStream(arr))
            return ProtoBuf.Serializer.Deserialize<T>(ms);
    }

    /// <summary>
    /// 将对象实例序列化为字节数组——ProtoBuf
    /// </summary>
    /// <typeparam name="T">对象类型</typeparam>
    /// <param name="obj">对象实例</param>
    /// <returns>字节数组</returns>
    public static byte[] SerializeToByteAry_PB<T>(this T obj)
    {
        using (MemoryStream ms = new MemoryStream())
        {
            ProtoBuf.Serializer.Serialize(ms, obj);
            return ms.ToArray();
        }
    }

    /// <summary>
    /// 将字节数组反序列化为对象实例——ProtoBuf
    /// </summary>
    /// <typeparam name="T">对象类型</typeparam>
    /// <param name="arr">字节数组</param>
    /// <returns></returns>
    public static T DeserializeFromByteAry_PB<T>(this byte[] arr)
    {
        using (MemoryStream ms = new MemoryStream(arr))
            return ProtoBuf.Serializer.Deserialize<T>(ms);
    }

    /// <summary>
    /// 将对象实例序列化为二进制文件——ProtoBuf
    /// </summary>
    /// <typeparam name="T">对象类型</typeparam>
    /// <param name="obj">对象实例</param>
    /// <param name="path">文件路径（目录+文件名）</param>
    public static void SerializeToFile_PB<T>(this T obj, string path)
    {
        using (var file = File.Create(path))
        {
            ProtoBuf.Serializer.Serialize(file, obj);
        }
    }

    /// <summary>
    /// 将二进制文件反序列化为对象实例——ProtoBuf
    /// </summary>
    /// <typeparam name="T"></typeparam>
    /// <param name="path"></param>
    /// <returns></returns>
    public static T DeserializeFromFile_PB<T>(this string path)
    {
        using (var file = File.OpenRead(path))
        {
            return ProtoBuf.Serializer.Deserialize<T>(file);
        }
    }
}

使用方法如下：

static void Main(string[] args)
{

    var person = new Person
    {
        Id = 12345,
        Name = "Fred",
        Address = new Address
        {
            Line1 = "Flat 1",
            Line2 = "The Meadows"
        }
    };

    string str = person.SerializeToString_PB();            
    var strPerson = str.DeserializeFromString_PB<Person>();
    Console.WriteLine("序列化结果（字符串）：" + str);

    var arr = person.SerializeToByteAry_PB();
    var arrPerson = arr.DeserializeFromByteAry_PB<Person>();
    Console.WriteLine("序列化结果（字节数组）：" + BitConverter.ToString(arr));

    string path = "person.bin";            
    person.SerializeToFile_PB(path);
    var pathPerson = path.DeserializeFromFile_PB<Person>();
    Console.WriteLine("序列化结果（二进制文件）：" + BitConverter.ToString(File.ReadAllBytes(path)));

    Console.ReadLine();
}

结果如下：

序列化结果（字符串）：CLlgEgRGcmVkGhUKBkZsYXQgMRILVGhlIE1lYWRvd3M=
序列化结果（字节数组）：08-B9-60-12-04-46-72-65-64-1A-15-0A-06-46-6C-61-74-20-31-12-0B-54-68-65-20-4D-65-61-64-6F-77-73
序列化结果（二进制文件）：08-B9-60-12-04-46-72-65-64-1A-15-0A-06-46-6C-61-74-20-31-12-0B-54-68-65-20-4D-65-61-64-6F-77-73

参考资料

原文地址：https://www.cnblogs.com/timefiles/p/protobuf-net.html

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

C#中的CSV文件读写
项目中经常遇到CSV文件的读写需求，其中的难点主要是CSV文件的解析。本文会介绍CsvHelper、TextFieldParser、正则表达式三种解析CSV文件的方法，顺带也会介绍一下CSV文件的写方法。 CSV文件标准 在介绍CSV文件的读写方法前，我们需要了解一下CSV文件的格式。 文件示例 一
在C#中使用Halcon开发视觉检测程序
简介 本文的初衷是希望帮助那些有其它平台视觉算法开发经验的人能快速转入Halcon平台下，通过文中的示例开发者能快速了解一个Halcon项目开发的基本步骤，让开发者能把精力完全集中到算法的开发上面。 首先，你需要安装Halcon，HALCON 18.11.0.1的安装包会放在文章末尾。安装包分开发和
C#项目管理引用的dll文件
这篇文章主要简单记录一下C#项目的dll文件管理方法，以便后期使用。 设置dll路径 参考C#开发奇技淫巧三：把dll放在不同的目录让你的程序更整洁中间的 方法一：配置App.config文件的privatePath ： &lt;runtime&gt; &lt;assemblyBinding xml
C#中的JSON序列化方法
在C#中的使用JSON序列化及反序列化时，推荐使用Json.NET——NET的流行高性能JSON框架，当然也可以使用.NET自带的 System.Text.Json（.NET5）、DataContractJsonSerializer、JavaScriptSerializer（不推荐）。
C#事件总线
事件总线是对发布-订阅模式的一种实现，是一种集中式事件处理机制，允许不同的组件之间进行彼此通信而又不需要相互依赖，达到一种解耦的目的。&#xA;EventBus维护一个事件的字典，发布者、订阅者在事件总线中获取事件实例并执行发布、订阅操作，事件实例负责维护、执行事件处理程序。
C#调百度通用翻译API翻译HALCON的示例描述
通用翻译API的HTTPS 地址为https://fanyi-api.baidu.com/api/trans/vip/translate，使用方法参考通用翻译API接入文档 。&#xA;请求方式可使用 GET 或 POST 方式（Content-Type 请指定为：application/x-www-for
C#中使用jieba.NET、WordCloudSharp制作词云图
词云”由美国西北大学新闻学副教授、新媒体专业主任里奇·戈登（Rich Gordon）于2006年最先使用，是通过形成“关键词云层”或“关键词渲染”，对文本中出现频率较高的“关键词”的视觉上的突出。词云图过滤掉大量的文本信息，使浏览者只要一眼扫过文本就可以领略文本的主旨。&#xA;网上大部分文章介绍的是使用P
C#串口开发之SerialPort类封装
微软在.NET中对串口通讯进行了封装，我们可以在.net2.0及以上版本开发时直接使用SerialPort类对串口进行读写操作。&#xA;为操作方便，本文对SerialPort类做了一些封装，暂时取名为**SerialPortClient**。
C#中的命名管道用法
简介 管道为进程间通信提供了平台, 管道分为两种类型：匿名管道、命名管道，具体内容参考.NET 中的管道操作。简单来说，匿名管道只能用于本机的父子进程或线程之间，命名管道可用于远程主机或本地的任意两个进程，本文主要介绍命名管道的用法。 匿名管道在本地计算机上提供进程间通信。 与命名管道相比，虽然匿名
C#实现一个简单的日志类
目录自定义日志类NLog版本的日志类Serilog版本的日志类 上个月换工作，新项目又要重新搭建基础框架，把日志实现部分单独记录下来方便以后参考。 自定义日志类 代码大部分使用ChatGPT生成，人工进行了测试和优化，主要特点： 线程安全，日志异步写入文件不影响业务逻辑 支持过期文件自动清理，也可自
C#实现软件开机自启动（不需要管理员权限）
[TOC] # 原理简介 本文参考[C#/WPF/WinForm/程序实现软件开机自动启动的两种常用方法](https://blog.csdn.net/weixin_42288432/article/details/120059296)，将里面中的第一种方法做了封装成**AutoStart**类，使
C#实现FTP服务端和客户端
简介 FTP是FileTransferProtocol（文件传输协议）的英文简称，而中文简称为“文传协议”。用于Internet上的控制文件的双向传输。同时，它也是一个应用程序（Application）。基于不同的操作系统有不同的FTP应用程序，而所有这些应用程序都遵守同一种协议以传输文件。 FTP
C# 常用特性(Attribute)
使用特性，可以有效地将元数据或声明性信息与代码（程序集、类型、方法、属性等）相关联。 将特性与程序实体相关联后，可以在运行时使用反射这项技术查询特性。&#xA;在 C# 中，通过用方括号 ([]) 将特性名称括起来，并置于应用该特性的实体的声明上方以指定特性。
C#条码识别的解决方案（ZBar）
# 简介 主流的识别库主要有ZXing.NET和ZBar，OpenCV 4.0后加入了QR码检测和解码功能。本文使用的是ZBar，同等条件下ZBar识别率更高，图片和部分代码参考[在C#中使用ZBar识别条形码](https://www.cnblogs.com/w2206/p/7755656.htm
C#获取Description特性的扩展类
C#中Description特性主要用于枚举和属性，方法比较简单，记录一下以便后期使用。 扩展类DescriptionExtension代码如下： using System; using System.ComponentModel; using System.Reflection; /// &lt;
C#简单配置类及数据绑定
本文实现一个简单的配置类，原理比较简单，适用于一些小型项目。主要实现以下功能：保存配置到json文件、从文件或实例加载配置类的属性值、数据绑定到界面控件。&#xA;一般情况下，项目都会提供配置的设置界面，很少手动更改配置文件，所以选择以json文件保存配置数据。
C# 串口关闭时主界面卡死原因分析
前几天用SerialPort类写一个串口的测试程序，关闭串口的时候会让界面卡死。网上大多数方法都是定义2个bool类型的标记Listening和Closing，关闭串口和接受数据前先判断一下。我的方法是DataReceived事件处理程序用this.BeginInvoke()更新界面，不等待UI线程
C#泛型的类型参数约束
约束告知编译器类型参数必须具备的功能。 在没有任何约束的情况下，类型参数可以是任何类型。 编译器只能假定 System.Object 的成员，它是任何 .NET 类型的最终基类。 如果客户端代码使用不满足约束的类型，编译器将发出错误。 通过使用 where 上下文关键字指定约束。&#xA;最常用的泛型约束为
C#中protobuf-net的编码结构及使用方法
protobuf-net是用于.NET代码的基于契约的序列化程序，它以Google设计的“protocol buffers”序列化格式写入数据，适用于大多数编写标准类型并可以使用属性的.NET语言。&#xA;protobuf-net可通过NuGet安装程序包，也可直接访问github下载源码：https:/
C#开源类库SimpleTCP
工作中经常遇到需要实现TCP客户端或服务端的时候，如果每次都自己写会很麻烦且无聊，使用SuperSocket库又太大了。这时候就可以使用SimpleTCP了，当然仅限于C#语言。&#xA;SimpleTCP是一个简单且非常有用的 .NET 库，用于处理启动和使用 TCP 套接字（客户端和服务器）的重复性任务
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot