收到一段字节数据后,把它强转成结构体,再读取长度和类型,看起来只需要几行代码。但同一段代码换到另一种架构、收到半包,或者遇到异常长度时,问题往往才会暴露。

对于 OpenHarmony 原生模块中的自定义二进制数据,稳妥的处理顺序是:先确认可读取的范围,再按协议解释字段,最后才生成可交给业务层的数据。 协议的字节布局应当独立于 C++ 对象在内存中的布局。

Laval 社区《OpenHarmony分布式调度详解|会话消息解析(2)》展示了从会话字节到 TLV 节点的解析过程。下面换用一个独立的教学协议,把长度、字节序和接收边界单独讲清楚。这个协议不对应任何产品接口,也不是 OpenHarmony 的系统协议。

1 结构体布局不能代替协议定义

假设协议头依次包含标记、版本、类型和长度,直接写成下面这样,并不能证明读取合法:

// 反例示意:仅展示风险,不应作为解析实现。
const auto* header = reinterpret_cast<const Header*>(data);
auto length = header->length;

至少要分开考虑四件事:

问题直接强转没有保证的条件
数据长度缓冲区可能连完整头部都没有
对齐与对象访问字节地址未必满足 Header 的对齐要求,也不能仅凭强转认定那里存在可按该类型访问的对象
内存布局字段间可能有填充,sizeof(Header) 不一定等于协议头长度
字节序本机多字节整数的排列可能不同于协议约定

这些条件来自不同层次:C++ 有对象表示与对齐要求,协议则需要自行约定字段顺序和字节序。可参见 C++ 对象表示、对齐要求及字节序定义。

把字节复制到对齐的本地变量,有时能解决直接访问未对齐地址的问题,但 memcpy 不会替你转换字节序或验证字段取值。调整结构体打包方式,也不能补齐长度校验。因此,这里直接按字节读取字段,不依赖编译器如何排布结构体。

2 用一个六字节协议头明确输入规则

教学协议约定每个字节为 8 位,头部固定为 6 字节,负载最多 256 字节:

偏移字节数字段本例规则
02标记固定为 A5 5A
21版本只接收 01
31类型只接收 01 或 02
42负载长度无符号大端整数,只计算负载,不含头部
6N负载N 在 0 到 256 之间,按二进制字节保存

例如下面这帧,类型为 2,负载长度为 3,负载是 00 7F FF:

A5 5A 01 02 00 03 00 7F FF
└─标记─┘ 版 型 └长度┘ └─负载─┘

这里允许空负载,拒绝未知版本和类型。这些都是示例协议的明确选择,不能照搬成其他协议的通用规则。真实协议还可能要求按版本兼容、跳过未知扩展字段,或对特定类型设置更严格的长度。

长度字段为 01 00 时,应解析为 256。逐字节计算 (高字节 << 8) | 低字节,就不需要猜测本机字节序。参与移位的值先转成足够宽的无符号类型,避免把有符号 char 的符号扩展带入计算。

3 区分完整数据 数据不足和非法数据

解析函数一次处理缓冲区开头的一帧,并返回三种结果:

结果含义调用者动作
Ok头部合法,完整负载已经存在处理结果,并移除 consumed 个字节
NeedMore尚未收齐完整头部或合法长度对应的负载在容量和等待期限内继续接收
Invalid完整头部中的字段不符合本例规则,或指针参数明显矛盾进入错误处理,不能当成半包继续等

consumed 很关键:如果一个缓冲区中有两帧,第一次解析只能消耗第一帧,剩下的数据应留给下一次解析。

本例收到不足 6 字节时统一返回 NeedMore,收齐头部后才检查标记、版本和类型。长度超过上限则立即返回 Invalid,不必等攻击者或故障端继续发送负载。

下面是完整的解析部分,可用 C++17 编译:

#include <algorithm>
#include <array>
#include <climits>
#include <cstddef>
#include <cstdint>

static_assert(CHAR_BIT == 8, "The example protocol uses 8-bit bytes");
constexpr std::size_t kHeaderSize = 6;
constexpr std::size_t kMaxPayload = 256;

enum class Status { Ok, NeedMore, Invalid };
struct Frame {
    std::uint8_t type = 0;
    std::size_t payloadSize = 0;
    std::array<std::uint8_t, kMaxPayload> payload{};
};
struct ParseResult {
    Status status;
    std::size_t consumed = 0;
    Frame frame{};
};

// data must cover size readable bytes and remain unchanged during this call.
ParseResult ParseOne(const std::uint8_t* data, std::size_t size)
{
    if (data == nullptr && size != 0) return {Status::Invalid};
    if (size < kHeaderSize) return {Status::NeedMore};
    if (data[0] != 0xA5 || data[1] != 0x5A || data[2] != 1) {
        return {Status::Invalid};
    }
    if (data[3] != 1 && data[3] != 2) return {Status::Invalid};

    const std::size_t length =
        (static_cast<std::size_t>(data[4]) << 8U) |
        static_cast<std::size_t>(data[5]);
    if (length > kMaxPayload) return {Status::Invalid};
    if (length > size - kHeaderSize) return {Status::NeedMore};

    ParseResult result{Status::Ok};
    result.consumed = kHeaderSize + length;
    result.frame.type = data[3];
    result.frame.payloadSize = length;
    std::copy_n(data + kHeaderSize, length, result.frame.payload.begin());
    return result;
}

代码先验证 size >= kHeaderSize,再计算剩余长度 size - kHeaderSize。此时做减法不会下溢,随后检查 length 是否落在剩余范围内。通过检查后才计算总消耗长度和复制负载,避免把未经验证的长度提前用于地址计算。

还要注意这个接口的前提:非空 data 必须确实指向至少 size 个可读字节,并且调用期间不被其他线程修改。普通的指针加长度接口无法从一个任意地址推断真实分配大小。调用者必须从有效的容器或接收缓冲区提供参数;解析器负责检查协议字段相对这个范围是否合法。

OpenHarmony 5.1 的 C&C++ 安全编程指南要求校验外部输入,尤其是将其用作索引、偏移、分配大小或复制长度之前;也提醒不要用断言代替运行时输入检查。因此,示例中的错误路径是普通返回分支,发布构建中仍然有效。

4 把接收缓冲区和解析结果的责任分开

对于提供连续字节流的接口,一次读取不应被直接当作一帧。接收层需要暂存尚未解析的数据,反复调用 ParseOne:成功时推进 consumed,数据不足时保留现有前缀等待后续字节。

这条规则只针对字节流接口。若使用的 API 已保留消息边界,应遵循它的契约;如果约定一条消息恰好包含一帧,则应进一步要求 consumed == 消息长度。不要因为本例能解析连续帧,就把不同消息的数据无条件拼接。

接收层还需要独立限制总缓存大小、半帧等待时间和单轮处理帧数。单帧最大 262 字节,不代表整个接收缓存可以无限增长;大量完整小帧也可能占满一次事件处理的时间。追加数据前应检查剩余容量,而不是先扩容再检查。

遇到 Invalid 时,本例不会自动扫描下一个 A5 5A。因为标记也可能出现在负载里,盲目扫描可能把负载误认为新头部。上层应按协议决定关闭连接、丢弃当前消息,或者使用经过定义和验证的重同步机制。Invalid 的 consumed 为 0,调用者必须退出当前解析循环或执行错误策略,不能对原缓冲区不停重试。

返回的 Frame 使用固定数组保存负载,解析函数不按对端声明长度分配堆内存,成功结果也不借用输入缓冲区。这样,输入缓存移动、复用或销毁后,结果仍然有效。代价是每个结果保留固定容量并发生一次复制;若改为零拷贝视图,就必须重新设计持有期限和缓存复用规则。

负载中的 00 是有效数据,不是字符串结束标志。业务层若需要文本,应另外校验编码和文本长度,不能对这段二进制负载直接使用 strlen。同样,标记和长度校验只检查结构,不能证明发送者身份,也不能替代认证与完整性保护。

5 用边界输入验证解析行为

配套独立示例使用桌面 MinGW g++ 16.1.0,以 -std=c++17 -Wall -Wextra -Werror -pedantic -O2 编译,14 组用例符合预期:

验证范围检查内容
接口参数空输入;空指针配非零长度
数据截断示例帧从 0 到 8 字节的每个不完整前缀都不被消耗
正常负载完整示例帧;空负载;包含 00、7F、FF 的二进制数据
长度边界大端 01 00 对应 256 字节;257 和 65535 在没有负载时也立即拒绝
头部规则错误标记;未知版本;未知类型
缓冲区使用连续两帧分别解析;从缓冲区偏移 1 字节的位置解析
输出行为失败不返回上次成功字段;修改输入后,成功结果的副本不变

这些是桌面上的解析逻辑检查,未覆盖 OpenHarmony 实际接收接口、接收缓存上限、超时回收或板端行为。接入时应按真实 API 契约补充这些用例;模糊测试和可用的内存检查工具也能帮助发现未考虑的输入组合。

审阅一段二进制解析代码时,最有用的问题是:每次读取前,能否指出允许读取这几个字节的依据?每次复制或分配前,长度是否已经经过范围与资源限制检查? 把这些依据写进控制流程,比依赖一份“看起来和报文一样”的结构体更容易维护。

Logo

社区规范:仅讨论OpenHarmony相关问题。

更多推荐