OpenHarmony C++ 二进制解析实践 从结构体强转到逐字段校验
收到一段字节数据后,把它强转成结构体,再读取长度和类型,看起来只需要几行代码。但同一段代码换到另一种架构、收到半包,或者遇到异常长度时,问题往往才会暴露。
对于 OpenHarmony 原生模块中的自定义二进制数据,稳妥的处理顺序是:先确认可读取的范围,再按协议解释字段,最后才生成可交给业务层的数据。 协议的字节布局应当独立于 C++ 对象在内存中的布局。
Laval 社区《OpenHarmony分布式调度详解|会话消息解析(2)》展示了从会话字节到 TLV 节点的解析过程。下面换用一个独立的教学协议,把长度、字节序和接收边界单独讲清楚。这个协议不对应任何产品接口,也不是 OpenHarmony 的系统协议。
1 结构体布局不能代替协议定义
假设协议头依次包含标记、版本、类型和长度,直接写成下面这样,并不能证明读取合法:
// 反例示意:仅展示风险,不应作为解析实现。
const auto* header = reinterpret_cast<const Header*>(data);
auto length = header->length;
至少要分开考虑四件事:
| 问题 | 直接强转没有保证的条件 |
|---|---|
| 数据长度 | 缓冲区可能连完整头部都没有 |
| 对齐与对象访问 | 字节地址未必满足 Header 的对齐要求,也不能仅凭强转认定那里存在可按该类型访问的对象 |
| 内存布局 | 字段间可能有填充,sizeof(Header) 不一定等于协议头长度 |
| 字节序 | 本机多字节整数的排列可能不同于协议约定 |
这些条件来自不同层次:C++ 有对象表示与对齐要求,协议则需要自行约定字段顺序和字节序。可参见 C++ 对象表示、对齐要求及字节序定义。
把字节复制到对齐的本地变量,有时能解决直接访问未对齐地址的问题,但 memcpy 不会替你转换字节序或验证字段取值。调整结构体打包方式,也不能补齐长度校验。因此,这里直接按字节读取字段,不依赖编译器如何排布结构体。
2 用一个六字节协议头明确输入规则
教学协议约定每个字节为 8 位,头部固定为 6 字节,负载最多 256 字节:
| 偏移 | 字节数 | 字段 | 本例规则 |
|---|---|---|---|
| 0 | 2 | 标记 | 固定为 A5 5A |
| 2 | 1 | 版本 | 只接收 01 |
| 3 | 1 | 类型 | 只接收 01 或 02 |
| 4 | 2 | 负载长度 | 无符号大端整数,只计算负载,不含头部 |
| 6 | N | 负载 | N 在 0 到 256 之间,按二进制字节保存 |
例如下面这帧,类型为 2,负载长度为 3,负载是 00 7F FF:
A5 5A 01 02 00 03 00 7F FF
└─标记─┘ 版 型 └长度┘ └─负载─┘
这里允许空负载,拒绝未知版本和类型。这些都是示例协议的明确选择,不能照搬成其他协议的通用规则。真实协议还可能要求按版本兼容、跳过未知扩展字段,或对特定类型设置更严格的长度。
长度字段为 01 00 时,应解析为 256。逐字节计算 (高字节 << 8) | 低字节,就不需要猜测本机字节序。参与移位的值先转成足够宽的无符号类型,避免把有符号 char 的符号扩展带入计算。
3 区分完整数据 数据不足和非法数据
解析函数一次处理缓冲区开头的一帧,并返回三种结果:
| 结果 | 含义 | 调用者动作 |
|---|---|---|
| Ok | 头部合法,完整负载已经存在 | 处理结果,并移除 consumed 个字节 |
| NeedMore | 尚未收齐完整头部或合法长度对应的负载 | 在容量和等待期限内继续接收 |
| Invalid | 完整头部中的字段不符合本例规则,或指针参数明显矛盾 | 进入错误处理,不能当成半包继续等 |
consumed 很关键:如果一个缓冲区中有两帧,第一次解析只能消耗第一帧,剩下的数据应留给下一次解析。
本例收到不足 6 字节时统一返回 NeedMore,收齐头部后才检查标记、版本和类型。长度超过上限则立即返回 Invalid,不必等攻击者或故障端继续发送负载。
下面是完整的解析部分,可用 C++17 编译:
#include <algorithm>
#include <array>
#include <climits>
#include <cstddef>
#include <cstdint>
static_assert(CHAR_BIT == 8, "The example protocol uses 8-bit bytes");
constexpr std::size_t kHeaderSize = 6;
constexpr std::size_t kMaxPayload = 256;
enum class Status { Ok, NeedMore, Invalid };
struct Frame {
std::uint8_t type = 0;
std::size_t payloadSize = 0;
std::array<std::uint8_t, kMaxPayload> payload{};
};
struct ParseResult {
Status status;
std::size_t consumed = 0;
Frame frame{};
};
// data must cover size readable bytes and remain unchanged during this call.
ParseResult ParseOne(const std::uint8_t* data, std::size_t size)
{
if (data == nullptr && size != 0) return {Status::Invalid};
if (size < kHeaderSize) return {Status::NeedMore};
if (data[0] != 0xA5 || data[1] != 0x5A || data[2] != 1) {
return {Status::Invalid};
}
if (data[3] != 1 && data[3] != 2) return {Status::Invalid};
const std::size_t length =
(static_cast<std::size_t>(data[4]) << 8U) |
static_cast<std::size_t>(data[5]);
if (length > kMaxPayload) return {Status::Invalid};
if (length > size - kHeaderSize) return {Status::NeedMore};
ParseResult result{Status::Ok};
result.consumed = kHeaderSize + length;
result.frame.type = data[3];
result.frame.payloadSize = length;
std::copy_n(data + kHeaderSize, length, result.frame.payload.begin());
return result;
}
代码先验证 size >= kHeaderSize,再计算剩余长度 size - kHeaderSize。此时做减法不会下溢,随后检查 length 是否落在剩余范围内。通过检查后才计算总消耗长度和复制负载,避免把未经验证的长度提前用于地址计算。
还要注意这个接口的前提:非空 data 必须确实指向至少 size 个可读字节,并且调用期间不被其他线程修改。普通的指针加长度接口无法从一个任意地址推断真实分配大小。调用者必须从有效的容器或接收缓冲区提供参数;解析器负责检查协议字段相对这个范围是否合法。
OpenHarmony 5.1 的 C&C++ 安全编程指南要求校验外部输入,尤其是将其用作索引、偏移、分配大小或复制长度之前;也提醒不要用断言代替运行时输入检查。因此,示例中的错误路径是普通返回分支,发布构建中仍然有效。
4 把接收缓冲区和解析结果的责任分开
对于提供连续字节流的接口,一次读取不应被直接当作一帧。接收层需要暂存尚未解析的数据,反复调用 ParseOne:成功时推进 consumed,数据不足时保留现有前缀等待后续字节。
这条规则只针对字节流接口。若使用的 API 已保留消息边界,应遵循它的契约;如果约定一条消息恰好包含一帧,则应进一步要求 consumed == 消息长度。不要因为本例能解析连续帧,就把不同消息的数据无条件拼接。
接收层还需要独立限制总缓存大小、半帧等待时间和单轮处理帧数。单帧最大 262 字节,不代表整个接收缓存可以无限增长;大量完整小帧也可能占满一次事件处理的时间。追加数据前应检查剩余容量,而不是先扩容再检查。
遇到 Invalid 时,本例不会自动扫描下一个 A5 5A。因为标记也可能出现在负载里,盲目扫描可能把负载误认为新头部。上层应按协议决定关闭连接、丢弃当前消息,或者使用经过定义和验证的重同步机制。Invalid 的 consumed 为 0,调用者必须退出当前解析循环或执行错误策略,不能对原缓冲区不停重试。
返回的 Frame 使用固定数组保存负载,解析函数不按对端声明长度分配堆内存,成功结果也不借用输入缓冲区。这样,输入缓存移动、复用或销毁后,结果仍然有效。代价是每个结果保留固定容量并发生一次复制;若改为零拷贝视图,就必须重新设计持有期限和缓存复用规则。
负载中的 00 是有效数据,不是字符串结束标志。业务层若需要文本,应另外校验编码和文本长度,不能对这段二进制负载直接使用 strlen。同样,标记和长度校验只检查结构,不能证明发送者身份,也不能替代认证与完整性保护。
5 用边界输入验证解析行为
配套独立示例使用桌面 MinGW g++ 16.1.0,以 -std=c++17 -Wall -Wextra -Werror -pedantic -O2 编译,14 组用例符合预期:
| 验证范围 | 检查内容 |
|---|---|
| 接口参数 | 空输入;空指针配非零长度 |
| 数据截断 | 示例帧从 0 到 8 字节的每个不完整前缀都不被消耗 |
| 正常负载 | 完整示例帧;空负载;包含 00、7F、FF 的二进制数据 |
| 长度边界 | 大端 01 00 对应 256 字节;257 和 65535 在没有负载时也立即拒绝 |
| 头部规则 | 错误标记;未知版本;未知类型 |
| 缓冲区使用 | 连续两帧分别解析;从缓冲区偏移 1 字节的位置解析 |
| 输出行为 | 失败不返回上次成功字段;修改输入后,成功结果的副本不变 |
这些是桌面上的解析逻辑检查,未覆盖 OpenHarmony 实际接收接口、接收缓存上限、超时回收或板端行为。接入时应按真实 API 契约补充这些用例;模糊测试和可用的内存检查工具也能帮助发现未考虑的输入组合。
审阅一段二进制解析代码时,最有用的问题是:每次读取前,能否指出允许读取这几个字节的依据?每次复制或分配前,长度是否已经经过范围与资源限制检查? 把这些依据写进控制流程,比依赖一份“看起来和报文一样”的结构体更容易维护。
更多推荐

所有评论(0)