第一章 服务器固件介绍
1 一台服务器里装了几个固件
服务器的固件不是一个东西,是一堆东西。它们各写各的,各升各的,出问题时的表现完全不同,刷挂之后的后果也差得远。
按供电来源和刷新方式,可以分成三堆。
┌───────────────────────────────────────────────────────┐
│ 一台服务器里装了哪些固件 │
├───────────────────────────────────────────────────────┤
│ 按供电和刷新方式给固件分三堆 │
│ │
│ 板上固件,跟主板一起走 │
│ ├── BIOS Flash 固件 1 SPI 挂在桥片下,双镜像 │
│ ├── BMC Flash 固件 2 常电,自己的 SoC 和 Linux │
│ └── CPLD 固件 3 常电,管上电时序和点灯 │
│ │
│ 插卡固件,卡上自带 │
│ ├── RAID 卡 固件 4 带缓存和电池,有配置区 │
│ ├── 网卡 固件 5 PXE、RoCE、NC-SI 都在这里 │
│ └── GPU 固件 6 显存训练、功耗策略 │
│ │
│ 模块固件,模块里自带 MCU │
│ ├── 电源 PSU 固件 7 PMBus 读功率和告警 │
│ ├── 硬盘背板 固件 8 盘位识别、SES 点灯 │
│ └── 硬盘本身 固件 9 SSD 主控固件,另一套体系 │
└───────────────────────────────────────────────────────┘
这几类固件之间的差别,主要落在三件事上。
| BIOS | CPU,开机瞬间 | 在,存在 SPI Flash 里 | 开不了机,要人工救砖 |
| BMC | BMC 自己的 SoC | 在,存在自己的 Flash 里 | 带外全废,机器还能跑 |
| CPLD | 逻辑门,一直在跑 | 在,配置存在片内 Flash | 开不了机,比 BIOS 挂了更难救 |
| RAID 卡 | 卡上的处理器 | 在 | 认不到盘,数据面有风险 |
| 网卡 | 卡上的处理器 | 部分在,运行时还要加载驱动固件 | 网络不通,PXE 起不来 |
| 电源 PSU | 模块里的 MCU | 在 | 功率读数没了,可能拒绝供电 |
搞清楚这张表,遇到问题时第一反应就不会错。带外连不上,先怀疑 BMC;屏幕黑着但风扇在转,先怀疑 CPLD 和 BIOS;系统起来了但认不到盘,去看 RAID 卡。
还有一处容易混淆。BIOS 和 BMC 都挂在主板上的 Flash 里,但不是同一片。BIOS Flash 挂在桥片下走 SPI,CPU 直接取指;BMC 有自己的 SoC 和自己的 Flash,两者之间靠 eSPI 或者 I2C 通信。刷 BIOS 可以经由 BMC 来做,那时 BMC 扮演的是刷写工具,两者本身是两回事。
2 BIOS 固件
2.1 通电之后它干什么
BIOS 是机器上电后跑的第一段软件,按时间顺序拆成四步。
┌────────────────────────────────────────────┐
│ BIOS 从上电到交棒,分四步走 │
├────────────────────────────────────────────┤
│ ┌──────────────────────────────────────┐ │
│ │ 1 硬件自检 │ │
│ │ 内存训练、CPU 微码、POST 码 │ │
│ └──────────────────────────────────────┘ │
│ │ │
│ v │
│ ┌──────────────────────────────────────┐ │
│ │ 2 枚举设备 │ │
│ │ 扫 PCIe、加载 Option ROM │ │
│ └──────────────────────────────────────┘ │
│ │ │
│ v │
│ ┌──────────────────────────────────────┐ │
│ │ 3 建立接口 │ │
│ │ ACPI、SMBIOS、Setup 默认值 │ │
│ └──────────────────────────────────────┘ │
│ │ │
│ v │
│ ┌──────────────────────────────────────┐ │
│ │ 4 交棒 │ │
│ │ 按启动顺序找引导器 │ │
│ └──────────────────────────────────────┘ │
└────────────────────────────────────────────┘
第一步硬件自检。CPU 内部的微码先跑起来,把缓存当内存用,然后初始化内存控制器。内存没起来之前 BIOS 能用的只有 CPU 缓存,这一步的调试手段极其有限,出问题只能靠 POST 码定位。
第二步枚举设备。扫 PCIe 总线,给每个设备分配资源,读 RAID 卡和网卡的 Option ROM,把能启动的设备登记成启动项。
第三步建立接口。把 ACPI 表、SMBIOS 表填好交给操作系统,同时把 Setup 界面的默认值准备好。
第四步交棒。按启动顺序找到第一个可启动设备,读它的引导扇区或者 EFI 文件,把控制权交出去。
四步里最慢的是内存训练。满配 16 根内存的机器冷启动训练一次要几十秒,热重启会跳过。测试时如果发现开机时间长得离谱,先看是不是每次都在重新训练内存。
2.2 UEFI 和 Legacy
现在的服务器默认都是 UEFI,但 Legacy 还在,两种模式的差别主要在这么几处。
| 磁盘分区表 | MBR,最大 2 TB | GPT,容量基本没有上限 |
| 引导文件 | 主引导记录里的 bootloader | ESP 分区里的 .efi 文件 |
| 启动项管理 | 靠磁盘顺序 | 写在 NVRAM 里的启动项 |
| 安全启动 | 不支持 | 支持 Secure Boot |
| 显卡初始化 | 传统 VBIOS | GOP 驱动 |
实际项目里踩得最多的是混用。操作系统装的时候是 UEFI,机器后来被改成 Legacy,系统就起不来了,反过来也一样。测试用例要专门覆盖这一条,改完启动模式之后操作系统还能不能起来。
Secure Boot 是另一个高频问题源。开了之后没签名的驱动和引导器会被挡在外面,某些老版本 RAID 卡的 Option ROM 直接加载失败。启动模式和安全启动这两个开关要组合着测,四种组合各来一遍。
2.3 版本怎么查
查 BIOS 版本有带内和带外两条路,两边读到的值要能对得上,这条本身就是一条测试用例。
| Linux 带内 | 读 /sys/class/dmi/id/bios_version | 系统已起来,不需要 root |
| Linux 带内 | dmidecode -t bios | 要厂商、日期、Flash 容量这些完整信息 |
| Windows 带内 | wmic bios get smbiosbiosversion | Windows 环境 |
| 带外 | Redfish 的 Systems 资源里的 BiosVersion 字段 | 系统没起来也能查,BMC 测试里最基础的一条断言 |
几个容易搅混的地方先讲清楚。
/sys/class/dmi/id/ 下面除了 bios_version 还有 bios_date、bios_vendor,都是内核从 SMBIOS 表里读出来的,不用 root 权限。
dmidecode 的输出开头会打印自己的版本和数据来源,真正的 BIOS 信息在后面 BIOS Information 那一节里,Vendor 是厂商,Version 是版本,Release Date 是编译日期,ROM Size 是 Flash 容量。
Windows 的 wmic 输出第一行是列名,第二行才是值。写进报告或者做比对的时候别把列名当成版本号抄进去。
带外那条要留意。BMC 挂出来的 BIOS 版本是它缓存的一份快照, BIOS 刚刷完还没重启的时候,两边读到的值不一样属于正常现象,这条得在用例里写明白,免得当成缺陷提上去。
2.4 双镜像和回退
服务器 BIOS 几乎都做双镜像。Flash 里放两份,一份主一份备,主镜像校验失败就切到备镜像启动,切完再报一条告警。
┌──────────────────────────────────────────────┐
│ BIOS Flash 里放了什么 │
├──────────────────────────────────────────────┤
│ ┌────────────────────────────────────────┐ │
│ │ SPI Flash 32 MB │ │
│ │ │ │
│ │ 0x000000 主镜像 BIOS 1.90 │ │
│ │ 0x1000000 备镜像 BIOS 1.80 │ │
│ │ 末尾 NVRAM 区 Setup、启动项 │ │
│ └────────────────────────────────────────┘ │
└──────────────────────────────────────────────┘
注意最后那块 NVRAM。Setup 里改的设置、UEFI 启动项都存这儿,跟代码镜像分开。所以升级 BIOS 之后设置还在,但清 CMOS 会把它们抹掉。测试的时候这两件事要分开验证。
- 升级后 Setup 设置是否保留
- 清 CMOS 之后是否回到出厂默认
- 主镜像刷坏之后能不能自动切到备镜像
- 备镜像起来之后,带外还能不能再刷一次救回来
第三条是必测项,也是最容易漏的一条。做的时候先备份,别拿唯一一台样机去试。
2.5 BIOS 测试盯什么
按优先级排,一般覆盖这些。
| 启动功能 | 冷启动、热重启、断电重启各跑 3 次 | 偶发卡 POST,内存训练失败 |
| Setup 项 | 逐项改默认值,重启后确认生效 | 改了不保存,或者保存后不生效 |
| 启动模式 | UEFI 与 Legacy 来回切,安全开关组合 | 切完系统起不来 |
| 设备枚举 | 满配、半配、单条内存分别开机 | 某些槽位认不到 |
| 升级 | 在线升级、离线升级、升级中掉电 | 升级中断后变砖 |
| 回退 | 刷坏主镜像看能否自动切备镜像 | 回退逻辑失效,直接不开机 |
| 兼容性 | 换不同型号 CPU、内存、硬盘再测 | 新部件认不到或降速 |
升级中掉电那条属于破坏性测试,要留好备份,最好在专门的样机上做。
3 BMC 固件
BMC 是这一章的主角,后面大半篇幅都在围着它转。
3.1 它凭什么独立于主机
BMC 是一块独立的 SoC,有自己的 CPU、内存和 Flash,跑一个裁剪过的 Linux。它接的是待机电压,只要电源插着就在跑,主机开不开机跟它没关系。
这个设计带来一个很实际的好处。主机死机、系统蓝屏、操作系统装崩了,只要网线还通着,你依然能远程看到这台机器,能开关电源,能看屏幕,能挂光盘重装系统。
它挂在主板一侧,通过一堆低速总线把整机捏在手里。
┌───────────────────────────────────────────────────┐
│ BMC 挂在主板一侧,靠低速总线把整机捏在手里 │
├───────────────────────────────────────────────────┤
│ ┌────────────────────────────────────┐ │
│ │ BMC SoC │ │
│ │ 自己的 CPU / 内存 / Flash │ │
│ │ 待机电压供电,开机前就活着 │ │
│ └────────────────────────────────────┘ │
│ │ │
│ ├── eSPI CPU / PCH 取屏幕、读 POST 码 │
│ ├── I2C 温度传感器 温度读数、风扇调速 │
│ ├── PMBus 电源 PSU 功率读数、上下电 │
│ ├── SPI BIOS Flash 在线刷 BIOS │
│ ├── I2C 硬盘背板 盘位与背板健康 │
│ ├── SGPIO 背板 LED 点灯定位 │
│ └── UART 串口重定向 SOL,看 Linux 控制台 │
└───────────────────────────────────────────────────┘
eSPI 那条单独说下。它是 BMC 拿屏幕画面的通道,主机显卡的帧缓存会被送到 BMC,BMC 压缩后传给远程的 KVM 窗口。所以你在带外看到的画面不是 BMC 猜的,是真从主机那边搬过来的。装系统、改 grub 参数、看蓝屏,全靠这条路。
3.2 BMC 内部是什么结构
BMC 自己就是一台小电脑,从下往上看分五层。
┌────────────────────────────────────────────────────────────────┐
│ BMC 自己就是一台小电脑,分五层看 │
├────────────────────────────────────────────────────────────────┤
│ ┌──────────────────────────────────────────────────────────┐ │
│ │ 对外接口层 Redfish / IPMI / SNMP / SSH / Web │ │
│ │ │ │
│ └──────────────────────────────────────────────────────────┘ │
│ │ │
│ v │
│ ┌──────────────────────────────────────────────────────────┐ │
│ │ 业务逻辑层 传感器采集、告警、KVM、虚拟介质、升级 │ │
│ │ │ │
│ └──────────────────────────────────────────────────────────┘ │
│ │ │
│ v │
│ ┌──────────────────────────────────────────────────────────┐ │
│ │ 硬件抽象层 I2C、eSPI、SGPIO、ADC 的驱动 │ │
│ │ │ │
│ └──────────────────────────────────────────────────────────┘ │
│ │ │
│ v │
│ ┌──────────────────────────────────────────────────────────┐ │
│ │ 操作系统层 裁剪过的 Linux,BusyBox + 少量服务 │ │
│ │ │ │
│ └──────────────────────────────────────────────────────────┘ │
│ │ │
│ v │
│ ┌──────────────────────────────────────────────────────────┐ │
│ │ 引导与恢复层 U-Boot、双镜像、看门狗 │ │
│ │ │ │
│ └──────────────────────────────────────────────────────────┘ │
└────────────────────────────────────────────────────────────────┘
最底下那层在测试里最容易被忽略。BMC 自己也有双镜像,也有看门狗,刷新失败会回滚。测 BMC 升级的时候这两条要单独出用例。
3.3 Redfish 长什么样
Redfish 是 DMTF 定的标准,走 HTTPS,数据用 JSON。现在主流 BMC 都支持,是带外管理最主要的对接方式。
资源是一棵树,从 /redfish/v1 往下展开。
┌─────────────────────────────────────────────────┐
│ Redfish 资源树,测试主要围着这几棵子树转 │
├─────────────────────────────────────────────────┤
│ /redfish/v1 │
│ Systems │
│ 整机,型号、序列号、电源状态、BIOS 版本 │
│ └ 1 │
│ 一台机器一个实例,也有的叫 Self │
│ Chassis │
│ 机箱,装传感器和电源 │
│ └ Thermal │
│ 温度、风扇 │
│ └ Power │
│ 功耗、电源模块 │
│ Managers │
│ BMC 自己,固件版本、网络、服务开关 │
│ └ LogServices │
│ SEL 日志、操作日志 │
│ UpdateService │
│ 固件清单、升级任务 │
│ └ FirmwareInventory │
│ 各部件当前版本 │
│ SessionService │
│ 登录换票 │
│ TaskService │
│ 异步任务的进度 │
└─────────────────────────────────────────────────┘
一次完整的访问分两步,先换票,再办事。
┌───────────────────────────────────────────────────────────────────┐
│ 一次 Redfish 会话:先换票,再办事 │
├───────────────────────────────────────────────────────────────────┤
│ 客户端 -> BMC POST /redfish/v1/SessionService/Sessions │
│ {UserName, Password} │
│ BMC -> 客户端 201 Created │
│ X-Auth-Token: 6f3c1a… │
│ 客户端 -> BMC GET /redfish/v1/Systems/1 │
│ 带上 X-Auth-Token 请求头 │
│ BMC -> 客户端 200 OK │
│ {PowerState: On, BiosVersion: 1.90} │
└───────────────────────────────────────────────────────────────────┘
换票拿到的令牌放在后续每个请求的 X-Auth-Token 头里。令牌有有效期,也有数量上限,用的时候别占着不释放,8.3 节会专门讲。
3.4 IPMI 还在用
Redfish 是趋势,IPMI 没有退场。传感器读数、SEL 日志、上下电这些老功能,一行 ipmitool 就能拿到,现场排查的时候比 Redfish 快得多。
IPMI 命令由网络函数和命令字组成,报文末尾带校验和。
┌───────────────────────────────────────────────────────────────────────────────────────┐
│ IPMI 报文长什么样 │
├───────────────────────────────────────────────────────────────────────────────────────┤
│ ┌──────────┬────────────┬────────┬──────────┬────────┬────────┬────────┬────────┐ │
│ │请求方地址│网络函数+LUN│ 校验和 │响应方地址│序号+LUN│ 命令字 │ 数据 │ 校验和 │ │
│ └──────────┴────────────┴────────┴──────────┴────────┴────────┴────────┴────────┘ │
│ │
│ 20 18 C8 81 00 01 — 7E │
│ │
│ Get Device ID 这条命令拆开就是上面这 8 个字节 │
│ 校验和 = (0x100 – 前面所有字节之和) & 0xFF │
└───────────────────────────────────────────────────────────────────────────────────────┘
校验和的算法很简单,把前面所有字节加起来,取补码的低 8 位,第三段那个算式写的就是这个。手工验算一条回包花不了两分钟,遇到怀疑数据是脏的场合,先拿它过一遍。
响应里第三个字节是完成码,0x00 表示命令执行成功,非 0 都是失败。测 BMC 的时候判定要把完成码一起看进去,只看有没有回包是不够的,有些异常回包照样有数据但是完成码是 0xC0 之类的值。
3.5 BMC 测试盯什么
BMC 的测试对象比 BIOS 多一层,因为它既有软件接口,又管着一堆硬件动作。
| 接口可达性 | 遍历 Redfish 主要资源,看状态码和字段 | 某些资源 404,字段名拼错 |
| 鉴权 | 错密码、空令牌、过期令牌分别试 | 该拒绝的没拒绝 |
| 传感器 | 读数与阈值比对,拔风扇、挡风道 | 读数跳变、状态不更新 |
| 上下电 | 开机、关机、强制断电、重启 | 下发了没动作,状态不同步 |
| 固件升级 | 上传、轮询任务、重启、确认版本 | 卡在某个百分比不动 |
| 日志 | 制造告警,看 SEL 有没有记 | 漏记、级别判错 |
| KVM 与介质 | 开 KVM、挂虚拟光驱 | 连不上、画面卡住 |
| 网络与账户 | 改 IP、改密码、锁账户 | 改完连不上 |
4 CPLD/FPGA 固件
4.1 CPLD 每天在干的三件小事
CPLD 是一块小规模的可编程逻辑,你可以把它理解成一片用代码写死的硬件电路。它不通操作系统,一上电就在那儿跑,干的是最底层、最不容错的活。
- 上电时序。哪一路电压先起来,哪一路后起来,间隔多少毫秒,都由它控制
- 复位管理。CPU 的复位信号什么时候撤掉,复位持续多长时间
- 状态指示。前面板的灯、硬盘背板的定位灯、UID 灯
上电的完整链路是这样走的。
┌───────────────────────────────────────┐
│ 按下电源之后,谁先动 │
├───────────────────────────────────────┤
│ 按下电源键 / 网口发开机命令 │
│ │ │
│ v │
│ 1. CPLD 先醒,检查供电条件 │
│ 电源正常才往下走 │
│ │ │
│ v │
│ 2. CPLD 按顺序拉起各组电源 │
│ 1.0V -> 1.8V -> 内存 -> PCIe │
│ │ │
│ v │
│ 3. CPLD 撤掉 CPU 复位信号 │
│ CPU 开始取指 │
│ │ │
│ v │
│ 4. BIOS 从 Flash 里跑起来 │
│ 内存初始化、枚举设备 │
│ │ │
│ v │
│ 5. BIOS 交棒给 OS 引导器 │
│ POST 结束,写日志 │
│ │ │
│ v │
│ 进入操作系统 │
└───────────────────────────────────────┘
开篇那次事故就卡在第 3 步。CPLD 版本不对,复位信号的时序对不上,CPU 一直被按住,BIOS 根本没机会跑。
4.2 CPLD 和 FPGA 不是一回事
名字经常连着写,两者差别不小。
| 规模 | 小,几百到几千逻辑单元 | 大,几十万到百万级 |
| 掉电后 | 配置在片内 Flash,立刻能跑 | 多为 SRAM 型,要外部 Flash 加载 |
| 上电速度 | 毫秒级 | 几十毫秒到几百毫秒 |
| 典型用途 | 上电时序、复位、点灯 | 算法加速、协议处理、智能网卡 |
| 升级风险 | 刷挂了机器起不来 | 加载失败会回退或保持原状 |
服务器上用 CPLD 居多,管上电时序和点灯。FPGA 一般出现在有特殊需求的机型上,比如做数据压缩、做 RDMA 卸载的智能网卡。
4.3 怎么刷
CPLD 的升级路径有两条。
一条是通过 BMC。固件包塞进 BMC 的升级流程,BMC 通过 I2C 或者 JTAG 把配置写进 CPLD。这是给客户用的正式路径,也是测试要覆盖的路径。
另一条是烧录器直连,研发调试和生产返修时用。测试一般不走这条路,但要确认这条路存在,否则机器刷挂了没法救。
升级过程中断电是必测项。CPLD 刷一半断电,机器大概率起不来,这时候要确认售后有没有救回来的手段,以及告警能不能正常上报到 BMC。
4.4 测试关注点
| 上电时序 | 示波器量各组电压的爬升顺序和间隔 | 间隔不满足 CPU 要求 |
| 开机可靠性 | 反复上下电 50 次以上 | 偶发不开机,卡在复位 |
| 点灯 | 逐个点亮 UID 灯、定位灯、状态灯 | 灯不亮或颜色错 |
| 升级 | 正常升级、升级中断电、版本回退 | 刷挂、回退失败 |
| 配套关系 | 与 BMC、BIOS 的配套矩阵 | 版本不配套导致不开机 |
配套关系那一条是我在开篇那次事故里学到的,价值远超它的执行成本。
5 控制器固件
这一类是插卡和模块上自带的固件,数量最多,也最容易在测试计划里被漏掉。
5.1 都包含哪些
| RAID 卡 | RAID 算法、缓存策略、硬盘驱动 | storcli / perccli show | 认不到盘,阵列降级 |
| 网卡 | PXE、NC-SI、RoCE、速率协商 | ethtool -i | 网络不通,PXE 起不来 |
| 电源 PSU | 功率上报、过流保护 | BMC 的 Power 资源 | 功率读数异常,拒绝供电 |
| 硬盘背板 | 盘位识别、SES 点灯、速率协商 | BMC 或 sg_ses | 盘位错乱,灯不亮 |
| GPU | 显存训练、功耗策略、VBIOS | nvidia-smi | 认不到卡,降频 |
| TPM | 密钥管理、度量算法 | tpm2_getcap | 安全启动失败 |
这些固件有个共同点,版本号格式五花八门。RAID 卡可能是 4.680.00-8152,网卡是 22.0.6,电源是 1.06。判版本高低的时候不能一刀切用一套规则,得先拆分再比较,5.3 节专门讲这个。
5.2 配套矩阵怎么验
每台机型的发布说明里都会给一张配套矩阵,写清楚各部件的最低版本要求。升级前后各跑一次,把实际读到的版本逐项比对。
拿开篇那台机器举例,BMC 3.20 对六个部件有要求,实际读出来是这样。
| BMC | 3.20.10.10 | 3.20.10.10 | 通过 |
| BIOS | 1.90 | 1.90 | 通过 |
| CPLD | 1.08 | 1.07 | 低于下限 |
| RAID | 4.680.00-8152 | 4.650.00-7901 | 低于下限 |
| NIC | 22.0.6 | 22.0.6 | 通过 |
| PSU | 1.06 | 1.06 | 通过 |
这张表一眼能看出问题出在 CPLD 和 RAID。CPLD 不配套直接开不了机,就是开篇那次事故的现场。RAID 卡版本偏低当场不一定报错,但跑久了会有掉盘和降速,属于放着不管就要出事的那种隐患。
比对的时候有三种情况要单独处理,别一股脑判成不通过。
- 读不到版本。部件不在位、驱动没装、命令没权限都会返回空,这跟版本低是两回事,结论栏要单列
- 分隔符不同。文档写 4.680.00-8152,机器上读出 4.680.00.8152,只是横杠换成了点
- 位数不同。要求写 3.20,实际读到 3.20.10.10,短的一方补零再比
5.3 版本号怎么比
字符串直接比会出事。"1.90" > "1.100" 按字典序成立,但 1.100 明明更新。正确做法是把版本号里的数字段抽出来,短的补零,再逐段比大小。
按这个规则过一遍,几组容易判错的版本号是这个结果。
| 1.90 | 1.100 | 低于 | 特性版本 |
| 3.20.10.10 | 3.21.00.00 | 低于 | 特性版本 |
| 4.680.00-8152 | 4.680.00-8152 | 等于 | 相同 |
| 22.0.6 | 21.5.9 | 高于 | 回退 |
| 1.08 | 1.8 | 等于 | 相同 |
第一行就是琢磨这套规则的理由。字典序会判 1.90 更大,可 100 明明比 90 大。
第四行说的是另一件事。22.0.6 对 21.5.9 判定为高于本身没错,但放在升级校验的场景里,新版本比旧版本高,方向反了,结论是发生了回退,要单独告警。
最后一行要留意。1.08 和 1.8 抽出的数字段都是 (1, 8),按数值比较是同一个版本。厂商换写法的时候经常出这种事,机器读到的版本跟文档写的对不上,比对时要能容忍这种情况。
还有一类版本号带字母尾巴,比如 3.20.10.10a、1.90-rc1。字母段的排序口径各家不统一,遇到这种先跟厂商确认,别照着自己的猜测判,判错一次可能就把一批不配套的机器放行到生产环境去了。
5.4 测试关注点
| 版本读取 | 带内带外各读一次,交叉比对 | 两边读到的版本不一致 |
| 配套矩阵 | 升级前后各跑一次校验 | 版本不配套,功能异常 |
| 功能回归 | 建阵列、跑网络、读写盘 | 升级后掉盘、降速 |
| 升级 | 卡固件单独升级,看是否影响其他部件 | 升级后 RAID 配置丢失 |
| 掉电 | 升级过程掉电 | 卡变砖,要返修 |
最后一条要提前跟硬件同事确认卡有没有双镜像,没有的话别在生产环境试。
6 闭源商用 BMC 固件介绍
6.1 开源和闭源两条路
BMC 固件现在分两条路走。
一条是开源路线,代表是 OpenBMC。它由 Facebook 在 2014 年前后发起,后来捐给 Linux Foundation,现在 IBM、Google、Intel 等公司都在参与。技术上基于 Yocto 构建,跑 systemd,服务是一套叫 phosphor 的组件,Redfish 的实现叫 bmcweb。
这条路的好处是源码在手,能加东西能查问题。代价是要自己维护整套板级支持包,换了硬件平台要重新适配,团队里得有人真懂嵌入式 Linux。
另一条是闭源商用。服务器厂商向 AMI、Insyde 这类方案商买授权,拿到一份编译好的固件和一套定制工具,再在自家机型上做适配和界面开发。好处是成熟、稳定、上市快;代价是源码拿不到,能改的只有配置项,出了问题只能提单等厂商。
| 源码 | 全部开放 | 拿不到,只有二进制和配置项 |
| 定制能力 | 想加什么加什么 | 只能在厂商给的范围内改 |
| 上手成本 | 高,要养嵌入式团队 | 低,按文档配置就行 |
| 问题定位 | 自己看日志、打补丁 | 提单等厂商,周期不可控 |
| 典型用户 | 大型互联网公司自用 | 绝大多数商用服务器 |
6.2 闭源商用 BMC 家族
各家给自己的 BMC 起了不同的名字,本质上都是同一类东西,只是界面、私有接口和命令行工具不一样。
| Dell | iDRAC | Redfish、IPMI、Web | racadm |
| HPE | iLO | Redfish、IPMI、Web | ilorest |
| Lenovo | XClarity Controller | Redfish、IPMI、Web | OneCLI |
| 华为 | iBMC | Redfish、IPMI、SNMP、Web | ipmcget / ipmcset |
| 新华三 | HDM | Redfish、IPMI、Web | 自带 CLI |
| 浪潮 | BMC | Redfish、IPMI、Web | 自带 CLI |
| 超微 | BMC | Redfish、IPMI、Web | ipmicfg |
测这类 BMC 的时候有个通用套路。先摸清它开放了哪些接口,Redfish 覆盖到什么程度,哪些功能只能走私有接口或者 Web 界面。把清单列出来,再决定哪些能用命令行批量验,哪些必须有人在界面上点。
6.3 iBMC 长什么样
iBMC 是华为服务器的带外管理系统,国内项目里碰到的概率很高,单独拿出来说。
它提供的能力可以分成几块。
| 状态监控 | 传感器、功耗、健康度汇总 | Redfish Thermal / Power |
| 远程控制 | 开关机、重启、强制断电 | Redfish Reset 动作 |
| 远程控制台 | KVM,HTML5 方式免装客户端 | Web 或私有接口 |
| 虚拟介质 | 挂本地镜像当光驱 | 私有接口或 Web |
| 日志 | SEL、操作日志、黑匣子快照 | Redfish LogServices |
| 告警 | SNMP Trap、邮件、Syslog 上送 | 配置后抓包验证 |
| 固件升级 | BMC、BIOS、CPLD 都能刷 | Redfish UpdateService |
| 命令行 | SSH 登录后用 ipmcget 系列 | SSH 通道 |
命令行这几条用得最多,登录 iBMC 的 SSH 之后直接敲。
| ipmcget -d version | 各部件固件版本 |
| ipmcget -d health | 整机健康状态 |
| ipmcget -d sensorlist | 传感器读数 |
| ipmcget -d sel | SEL 日志 |
| ipmcset -d powerstate -v 1 | 开机,0 是关机,2 是强制重启 |
ipmcget -d version 这份输出要完整留档。它列的是 BMC 自己认识的固件清单,比 Redfish 的 FirmwareInventory 全,遇到 BIOS 版本对不上的时候,拿它当第三方佐证很有用。
6.4 闭源给测试带来的约束
闭源 BMC 的测试思路跟测开源软件不一样,有三条约束要先认下来。
第一,只能黑盒。看不到实现,唯一能依据的是接口文档和实际响应。接口文档经常是滞后的,字段对不上是常态。我的做法是把机器上的资源逐个访问一遍,把真实响应留成快照,拿快照当事实标准,文档只当参考。
第二,私有接口没有文档。有些功能只在 Web 界面上有,接口是私有的。这种只能开浏览器抓包,把请求和响应抄下来再用。抓包时注意区分哪些是 Redfish 标准路径,哪些是 /UI/Rest 这类私有路径。
第三,版本之间行为会变。同一个接口在 3.17 和 3.20 上返回的字段可能不一样,错误码也可能变。用例里不要写死版本号相关的分支,把这类差异集中到配置里,升级后统一改。
这三条决定了闭源 BMC 的测试策略要以接口断言为主,以日志分析为辅,能拿到的证据都拿到。
7 服务器 BMC 测试详解
7.1 测试对象分成四层
BMC 的测试对象从外到内分四层,每层关注的点不一样。
| 网络与鉴权 | 端口通不通、证书、令牌、账户锁 | telnet 探端口、curl、多人同时登录 |
| 接口与资源 | 资源在不在、字段对不对、状态码 | Redfish 逐个访问、翻字段核对 |
| 功能与动作 | 上下电、升级、KVM、虚拟介质 | 下发动作,再确认结果真的到位 |
| 硬件行为 | 传感器、风扇、灯、功耗 | 读数比对、人为制造故障 |
四层里最常被漏掉的是第一层和最后一层。中间两层接口清楚、判定好写,大家抢着做;网络层和硬件行为层因为麻烦没人愿意碰,出问题时偏偏就出在这两层。
7.2 七类测试
按测试类型拆,一个完整的 BMC 测试周期要跑这么七类。
| 功能测试 | 每个接口逐个验证正常路径 | 响应符合预期,副作用确认生效 |
| 异常测试 | 错参数、错令牌、超范围值 | 返回规范错误码,不崩溃 |
| 一致性测试 | 字段命名、状态码、错误体结构 | 符合 Redfish 规范 |
| 压力测试 | 高频查询、并发会话上百次 | 无内存泄漏,响应不超时 |
| 稳定性测试 | 连续跑 72 小时以上 | 服务不重启,读数不漂移 |
| 兼容性测试 | 不同浏览器、不同 ipmitool 版本 | 都能正常工作 |
| 升级测试 | 跨版本升、回退、中断续传 | 版本正确,配置不丢 |
一致性测试单独拿出来说。Redfish 有官方的一致性校验工具,跑一遍能发现不少字段命名不规范的地方。项目里如果要求过 Redfish 认证,这一步是硬指标。
7.3 一条用例长什么样
写 BMC 用例跟写普通接口用例最大的区别在清理环节。BMC 是有状态的,上一条用例改了设置,下一条用例就可能挂在一个莫名其妙的地方。
一条 BMC 用例至少要有这五个要素。
| 前置条件 | BMC 在线、账户可用、机器处于已知状态 | 排除环境干扰 |
| 操作步骤 | 一次只做一件事,动作和等待分开写 | 失败时能定位到步 |
| 预期结果 | 状态码 + 业务字段 + 副作用确认 | 只验状态码会漏掉一半缺陷 |
| 清理 | 恢复改动、登出会话、关闭虚拟介质 | 避免污染后续用例 |
| 可重复 | 连着跑 10 次结果一致 | 偶发缺陷只有靠重复才抓得出来 |
第五条最花时间,回报也在这儿。BMC 上的偶发缺陷比想象中多,比如某类告警只在特定的时序下才会记进 SEL,单跑一次撞不上,连着做十次能复现出来。
7.4 传感器阈值怎么判
BMC 会给每个读数自带一个 Health 字段。测试要做的是拿读数跟阈值再算一遍,看它自己判得对不对。这一步能抓出阈值配置错误和状态不更新这两类缺陷。
拿六个读数举例,左边是阈值,右边是自己算的结果和 BMC 自报的结果。
| CPU1_Temp | 52.0 | 5.0 | 78.0 | 85.0 | OK | OK |
| CPU2_Temp | 55.0 | 5.0 | 78.0 | 85.0 | OK | OK |
| Inlet_Temp | 24.0 | 0.0 | 40.0 | 45.0 | OK | OK |
| DIMM_Zone | 41.0 | 0.0 | 75.0 | 82.0 | OK | OK |
| PCIe_Zone | 79.0 | 0.0 | 78.0 | 85.0 | Warning | Warning |
| Fan4 | 0.0 | 500.0 | 无 | 无 | Critical | Critical |
判定规则就四条,够到严重上限判 Critical,掉到下限以下也判 Critical,够到非严重上限判 Warning,其余是 OK。
倒数两行是特意留的。PCIe_Zone 的 79 度过了 78 的非严重上限但没到 85,落在中间那一档;Fan4 转速为 0,低于转速下限 500,判的是 Critical,它在验证另一侧边界。真跑起来这两条经常不对,要么显示了读数却把状态写成了 OK,要么状态更新慢半拍。
真机上这份数据从 Redfish 的 Thermal 资源里读,字段对应关系是 ReadingCelsius 对读数,UpperThresholdNonCritical 对非严重上限,UpperThresholdCritical 对严重上限。不同厂商的字段命名偶尔会有出入,第一次接新机型时先把原始 JSON 摊开看一遍,别照着文档里的字段名写死。
7.5 手工怎么跑
刚开始接触一台 BMC,先手工跑通一遍心里才有底。两个工具够用了。
curl 负责 Redfish,一次完整的调用分这么四步。
| 换票 | 向 SessionService/Sessions 发 POST,请求体里带 UserName 和 Password |
| 取令牌 | 令牌在响应头里,字段名是 X-Auth-Token |
| 带票访问 | 后续每个请求都带上这个头,没带的会被拒 |
| 跳过证书 | 加 -k 参数 |
真机上跑基本躲不开 -k,BMC 大多用自签证书,不加就报证书错误。这条仅限排查的时候用,正式环境把 BMC 的证书导进信任列表,别让跳过的动作悄悄变成常态。
ipmitool 负责那些一条命令能搞定的查询,四个子命令最常用。
| 传感器读数 | sdr list |
| 日志 | sel list |
| 电源状态 | chassis power status |
| BMC 自身信息 | mc info |
这几个查询都要带 -I lanplus -H 地址 -U 账户 -P 密码,差别只在最后那个子命令上,记一套就等于记了四条。
这两个工具的取舍有一条经验。查状态、批量读数、做快速验收用 ipmitool;要看字段结构、验证一个 Redfish 资源到底返回了什么用 curl。后者返回的是原始 JSON,一眼能看到大小写和嵌套关系,写用例时需要的就是这份原始形状。
7.6 Web 界面怎么测
有一部分功能只在 Web 界面上提供,比如 KVM 的免客户端模式、虚拟介质的图形化挂载、一键收集日志。这些没有对外接口,只能照着一屏一屏点过去。
这个领域有几处跟普通网页测试不一样的地方。
登录页和主页之间隔着一层 iframe。iBMC 这类系统的主页元素全在框架里,不切进框架,元素定位再怎么找都找不到。
BMC 的 Web 界面加载慢。普通网页等几秒就够,BMC 上等二三十秒才刷出内容属于正常节奏,判定超时的时间要按这个量级给。
同一时刻只允许一个 KVM 会话。测试的时候两个人同时开,后开的会把先开的踢掉,看起来像网络故障。
虚拟介质的挂载依赖本地运行环境。老版本要 Java,新版本走 HTML5,换个浏览器结果完全不同,这项要覆盖两个以上的浏览器。
一键收集日志动辄几分钟。页面超时和任务实际完成是两回事,别一看到页面转圈就判失败,去任务列表或者文件下载目录确认结果。
界面层还有一类检查容易被跳过。同样的操作在 Web 上做和在命令行做,最终结果要一致。举个例子,界面里改了风扇模式,回到 Redfish 的 Thermal 资源读一次,模式字段应当同步变了。这类跨入口的一致性检查能挖出界面回调没打通的缺陷。
8 iBMC 测试详解
8.1 比标准 Redfish 多了什么
iBMC 在标准 Redfish 之外加了一批私有能力,测的时候要单独覆盖。
| 智能调速 | 按温度分区调速,可切手动 | 切模式后转速渐变,不能立刻判定等于目标值 |
| 功耗封顶 | 限制整机功率上限 | 设上限后实际功耗是否被压住 |
| 故障快照 | 故障时自动抓取黑匣子 | 制造故障,看快照有没有生成 |
| 一键收集 | 打包日志供售后分析 | 触发后能否下载到完整压缩包 |
| 双机备份 | 部分机型支持 BMC 主备 | 主 BMC 挂掉后备能否接管 |
| 安全加固 | 密码策略、登录锁定、证书替换 | 弱密码是否被拒,锁定期是否生效 |
| 虚拟介质 | 挂本地镜像装系统 | 挂载后主机能否识别到光驱 |
| 远程控制台 | HTML5 KVM | 画面是否能出,键鼠是否可用 |
8.2 常用接口清单
下面这份是测 iBMC 时打交道最多的接口,按用途分组。
| 换票 | /redfish/v1/SessionService/Sessions | POST |
| 整机信息 | /redfish/v1/Systems/1 | GET |
| 传感器 | /redfish/v1/Chassis/1/Thermal | GET |
| 电源 | /redfish/v1/Chassis/1/Power | GET |
| BMC 自身 | /redfish/v1/Managers/1 | GET |
| 固件清单 | /redfish/v1/UpdateService/FirmwareInventory | GET |
| 触发升级 | /redfish/v1/UpdateService/Actions/UpdateService.SimpleUpdate | POST |
| 任务进度 | /redfish/v1/TaskService/Tasks/{id} | GET |
| 日志 | /redfish/v1/Managers/1/LogServices/SEL/Entries | GET |
| 开关机 | /redfish/v1/Systems/1/Actions/ComputerSystem.Reset | POST |
| 网络协议 | /redfish/v1/Managers/1/NetworkProtocol | GET / PATCH |
8.3 三个容易掉的坑
会话数有上限。iBMC 同时允许的会话数是个位数,每次登录占一个位,用完不主动登出,累计到十几条之后就开始报会话耗尽。它的报错信息还很含糊,容易被当成网络不通去查。习惯开头的登录,收尾一定要退出,或者在后台逐个清掉闲置会话。
连续动作之间有冷却时间。关机之后立刻开机,iBMC 大概率拒绝,电源状态切换本身需要时间,两次动作挨太近,后一个会被直接丢掉。判定之前先确认状态真的到位了,别指望下发即生效。
升级是异步的。上传固件包返回 202 只代表受理了,真正刷完要几分钟,中间 BMC 还可能自己重启一次。
┌────────────────────────────────────────────────────────────┐
│ 刷固件是异步的,接口只负责受理 │
├────────────────────────────────────────────────────────────┤
│ 下发升级请求 │
│ │ │
│ v │
│ POST /UpdateService/Actions/UpdateService.SimpleUpdate │
│ │ │
│ v │
│ 202 Accepted,回 Location 指向一个任务 │
│ │ │
│ v │
│ GET /TaskService/Tasks/1 轮询 PercentComplete │
│ │ │
│ v │
│ 100% 且 TaskState 为 Completed,才算真的刷完 │
│ │ │
│ v │
│ 重启 BMC,再读一次固件版本确认 │
└────────────────────────────────────────────────────────────┘
正确流程是拿返回里的 Location 去轮询任务,等到进度 100% 且状态为 Completed,再重启 BMC 读一次版本确认。判定写成传完包立刻查版本号等于新版本,必挂。
这三条的共同点在于 BMC 的动作基本都是异步的,接口只负责受理。定判定标准的时候心里要有这个前提,凡是涉及做某件事的接口,后面都要留一段等待。
9 一轮 BMC 测试怎么排
前面两节讲的是测什么,这一节讲怎么把它组织成一轮能交付的测试。
9.1 执行顺序不能乱
BMC 的用例之间有依赖关系,乱着跑会冒出一堆假失败。按下面这个顺序来。
┌────────────────────────────────────────────────────┐
│ 一轮 BMC 测试的执行顺序 │
├────────────────────────────────────────────────────┤
│ ┌──────────────────────────────────────────────┐ │
│ │ 1 环境确认 网络通、版本对、账户能用 │ │
│ │ │ │
│ └──────────────────────────────────────────────┘ │
│ │ │
│ v │
│ ┌──────────────────────────────────────────────┐ │
│ │ 2 只读用例 资源、传感器、日志 │ │
│ │ │ │
│ └──────────────────────────────────────────────┘ │
│ │ │
│ v │
│ ┌──────────────────────────────────────────────┐ │
│ │ 3 开关机 开机、断电、重启 │ │
│ │ │ │
│ └──────────────────────────────────────────────┘ │
│ │ │
│ v │
│ ┌──────────────────────────────────────────────┐ │
│ │ 4 破坏性用例 拔风扇、断电源、造告警 │ │
│ │ │ │
│ └──────────────────────────────────────────────┘ │
│ │ │
│ v │
│ ┌──────────────────────────────────────────────┐ │
│ │ 5 升级与回退 刷固件、切双镜像 │ │
│ │ │ │
│ └──────────────────────────────────────────────┘ │
│ │ │
│ v │
│ ┌──────────────────────────────────────────────┐ │
│ │ 6 收尾恢复 恢复默认、导出报告 │ │
│ │ │ │
│ └──────────────────────────────────────────────┘ │
└────────────────────────────────────────────────────┘
同一件事换成表格是这样。
| 1 | 环境确认 | 网络通、版本对、账户能登录 | 后面所有用例的地基 |
| 2 | 只读用例 | 资源访问、传感器、版本、日志 | 不改机器状态,随便跑 |
| 3 | 开关机类 | 开机、关机、重启、强制断电 | 会动电源状态,放中间 |
| 4 | 破坏性用例 | 拔风扇、断冗余电源、制造告警 | 留下一堆告警,别干扰前面的 |
| 5 | 升级与回退 | 固件升级、版本回退、双镜像切换 | 一跑就要重启,放最后 |
| 6 | 收尾恢复 | 恢复默认、清会话、导出报告 | 把机器还给下一个人 |
第 4 类一定要排在第 5 类前面。升级会把配置和历史日志清掉,在升级之后再查 SEL 等于白查,看到的只有升级本身产生的那几条。
顺序搞反的代价我见过一次。破坏性用例跑完满屏告警,接着一轮升级把它们全清了,写报告时才发现缺证据,只好从头再蹲一遍机房。四十多条用例,白跑。
9.2 环境要准备什么
一轮测试开始之前,下面这些东西先到位。缺哪一项都可能让整轮测试停下来。
| 硬件 | 被测机器、串口线、独立交换机、可编程电源 |
| 信息 | 机型、固件清单、配套矩阵、发布说明、接口文档 |
| 账户 | 管理员账户、只读账户、已锁定账户各一个 |
| 工具 | curl、ipmitool、厂商命令行工具、抓包工具、串口终端 |
| 基线 | 升级前的版本清单、配置快照、SEL 日志快照 |
| 退路 | 上一版固件包、救砖流程、厂商对接人 |
退路这一行要在排期阶段就落实。真刷成砖之后再去找人,一个来回就是半天,遇上节假日还得往后延。
9.3 缺陷怎么记
BMC 的缺陷单跟普通软件的错误报告写法不一样,同一个现象由不同模块引起的情况太多。一条能被厂商受理的单至少要带上这些信息。
| 环境 | BMC、BIOS、CPLD 三个版本号,加机型和时间 |
| 复现步骤 | 从登录开始写,会话编号和两次动作的间隔都要写进去 |
| 实测与预期 | 贴原始响应,不要只贴一句转述的结论 |
| 日志 | SEL 条目、BMC 操作日志、串口输出各截一段 |
| 影响面 | 是否阻塞升级,是否需要现场救砖 |
版本那几项看着啰嗦,实际能省掉一轮往返。我手里被退回过的单,十有八九是漏了 CPLD 版本,厂商那边复现不出来就直接打回来补信息,一来一回三四天。
9.4 报告里要有什么
一份能让人拿去做决策的报告,得回答三个问题。跑了什么,结果怎样,能不能放行。
- 覆盖范围。共多少条,四个层级各占多少,哪些因为环境受限没跑
- 缺陷分布。按模块和严重级别分组,阻塞升级的有几条
- 结论。能否放行,放行要附带什么条件
第三条最容易被写废。只写通过两个字没有信息量,把限定条件写清楚才有价值,比如要求先刷 CPLD 到 1.08 以上再升 BMC,或者要求只在某批次之后的机器上放行。
小结
这一章从一台服务器的固件清单讲起,把 BIOS、BMC、CPLD、控制器固件各自的职责和刷新方式过了一遍,又讲了闭源商用 BMC 和 iBMC 的能力边界。
后半部分的重点在测试。BMC 的测试对象分四层,测试类型分七类,写用例时要把前置、步骤、预期、清理、可重复这五个要素写全。iBMC 这类闭源系统上还有三个绕不开的坑,会话上限、动作冷却、升级异步,定判定标准之前心里要有数。
最后一节给了一轮测试的执行顺序,从环境确认一直排到收尾恢复,外加一份环境清单。顺序这件事看着琐碎,实际能省掉大量重复返工。
网硕互联帮助中心






评论前必须登录!
注册