云计算百科
云计算领域专业知识百科平台

第一章 服务器固件介绍

第一章 服务器固件介绍

1 一台服务器里装了几个固件

服务器的固件不是一个东西,是一堆东西。它们各写各的,各升各的,出问题时的表现完全不同,刷挂之后的后果也差得远。

按供电来源和刷新方式,可以分成三堆。

┌───────────────────────────────────────────────────────┐
│ 一台服务器里装了哪些固件 │
├───────────────────────────────────────────────────────┤
│ 按供电和刷新方式给固件分三堆 │
│ │
│ 板上固件,跟主板一起走 │
│ ├── BIOS Flash 固件 1 SPI 挂在桥片下,双镜像 │
│ ├── BMC Flash 固件 2 常电,自己的 SoC 和 Linux │
│ └── CPLD 固件 3 常电,管上电时序和点灯 │
│ │
│ 插卡固件,卡上自带 │
│ ├── RAID 卡 固件 4 带缓存和电池,有配置区 │
│ ├── 网卡 固件 5 PXE、RoCE、NC-SI 都在这里 │
│ └── GPU 固件 6 显存训练、功耗策略 │
│ │
│ 模块固件,模块里自带 MCU │
│ ├── 电源 PSU 固件 7 PMBus 读功率和告警 │
│ ├── 硬盘背板 固件 8 盘位识别、SES 点灯 │
│ └── 硬盘本身 固件 9 SSD 主控固件,另一套体系 │
└───────────────────────────────────────────────────────┘

这几类固件之间的差别,主要落在三件事上。

固件谁在跑它掉电还在不在刷挂了会怎样
BIOS CPU,开机瞬间 在,存在 SPI Flash 里 开不了机,要人工救砖
BMC BMC 自己的 SoC 在,存在自己的 Flash 里 带外全废,机器还能跑
CPLD 逻辑门,一直在跑 在,配置存在片内 Flash 开不了机,比 BIOS 挂了更难救
RAID 卡 卡上的处理器 在 认不到盘,数据面有风险
网卡 卡上的处理器 部分在,运行时还要加载驱动固件 网络不通,PXE 起不来
电源 PSU 模块里的 MCU 在 功率读数没了,可能拒绝供电

搞清楚这张表,遇到问题时第一反应就不会错。带外连不上,先怀疑 BMC;屏幕黑着但风扇在转,先怀疑 CPLD 和 BIOS;系统起来了但认不到盘,去看 RAID 卡。

还有一处容易混淆。BIOS 和 BMC 都挂在主板上的 Flash 里,但不是同一片。BIOS Flash 挂在桥片下走 SPI,CPU 直接取指;BMC 有自己的 SoC 和自己的 Flash,两者之间靠 eSPI 或者 I2C 通信。刷 BIOS 可以经由 BMC 来做,那时 BMC 扮演的是刷写工具,两者本身是两回事。

2 BIOS 固件

2.1 通电之后它干什么

BIOS 是机器上电后跑的第一段软件,按时间顺序拆成四步。

┌────────────────────────────────────────────┐
│ BIOS 从上电到交棒,分四步走 │
├────────────────────────────────────────────┤
│ ┌──────────────────────────────────────┐ │
│ │ 1 硬件自检 │ │
│ │ 内存训练、CPU 微码、POST 码 │ │
│ └──────────────────────────────────────┘ │
│ │ │
│ v │
│ ┌──────────────────────────────────────┐ │
│ │ 2 枚举设备 │ │
│ │ 扫 PCIe、加载 Option ROM │ │
│ └──────────────────────────────────────┘ │
│ │ │
│ v │
│ ┌──────────────────────────────────────┐ │
│ │ 3 建立接口 │ │
│ │ ACPI、SMBIOS、Setup 默认值 │ │
│ └──────────────────────────────────────┘ │
│ │ │
│ v │
│ ┌──────────────────────────────────────┐ │
│ │ 4 交棒 │ │
│ │ 按启动顺序找引导器 │ │
│ └──────────────────────────────────────┘ │
└────────────────────────────────────────────┘

第一步硬件自检。CPU 内部的微码先跑起来,把缓存当内存用,然后初始化内存控制器。内存没起来之前 BIOS 能用的只有 CPU 缓存,这一步的调试手段极其有限,出问题只能靠 POST 码定位。

第二步枚举设备。扫 PCIe 总线,给每个设备分配资源,读 RAID 卡和网卡的 Option ROM,把能启动的设备登记成启动项。

第三步建立接口。把 ACPI 表、SMBIOS 表填好交给操作系统,同时把 Setup 界面的默认值准备好。

第四步交棒。按启动顺序找到第一个可启动设备,读它的引导扇区或者 EFI 文件,把控制权交出去。

四步里最慢的是内存训练。满配 16 根内存的机器冷启动训练一次要几十秒,热重启会跳过。测试时如果发现开机时间长得离谱,先看是不是每次都在重新训练内存。

2.2 UEFI 和 Legacy

现在的服务器默认都是 UEFI,但 Legacy 还在,两种模式的差别主要在这么几处。

对比项LegacyUEFI
磁盘分区表 MBR,最大 2 TB GPT,容量基本没有上限
引导文件 主引导记录里的 bootloader ESP 分区里的 .efi 文件
启动项管理 靠磁盘顺序 写在 NVRAM 里的启动项
安全启动 不支持 支持 Secure Boot
显卡初始化 传统 VBIOS GOP 驱动

实际项目里踩得最多的是混用。操作系统装的时候是 UEFI,机器后来被改成 Legacy,系统就起不来了,反过来也一样。测试用例要专门覆盖这一条,改完启动模式之后操作系统还能不能起来。

Secure Boot 是另一个高频问题源。开了之后没签名的驱动和引导器会被挡在外面,某些老版本 RAID 卡的 Option ROM 直接加载失败。启动模式和安全启动这两个开关要组合着测,四种组合各来一遍。

2.3 版本怎么查

查 BIOS 版本有带内和带外两条路,两边读到的值要能对得上,这条本身就是一条测试用例。

路子怎么查适用场景
Linux 带内 读 /sys/class/dmi/id/bios_version 系统已起来,不需要 root
Linux 带内 dmidecode -t bios 要厂商、日期、Flash 容量这些完整信息
Windows 带内 wmic bios get smbiosbiosversion Windows 环境
带外 Redfish 的 Systems 资源里的 BiosVersion 字段 系统没起来也能查,BMC 测试里最基础的一条断言

几个容易搅混的地方先讲清楚。

/sys/class/dmi/id/ 下面除了 bios_version 还有 bios_date、bios_vendor,都是内核从 SMBIOS 表里读出来的,不用 root 权限。

dmidecode 的输出开头会打印自己的版本和数据来源,真正的 BIOS 信息在后面 BIOS Information 那一节里,Vendor 是厂商,Version 是版本,Release Date 是编译日期,ROM Size 是 Flash 容量。

Windows 的 wmic 输出第一行是列名,第二行才是值。写进报告或者做比对的时候别把列名当成版本号抄进去。

带外那条要留意。BMC 挂出来的 BIOS 版本是它缓存的一份快照, BIOS 刚刷完还没重启的时候,两边读到的值不一样属于正常现象,这条得在用例里写明白,免得当成缺陷提上去。

2.4 双镜像和回退

服务器 BIOS 几乎都做双镜像。Flash 里放两份,一份主一份备,主镜像校验失败就切到备镜像启动,切完再报一条告警。

┌──────────────────────────────────────────────┐
│ BIOS Flash 里放了什么 │
├──────────────────────────────────────────────┤
│ ┌────────────────────────────────────────┐ │
│ │ SPI Flash 32 MB │ │
│ │ │ │
│ │ 0x000000 主镜像 BIOS 1.90 │ │
│ │ 0x1000000 备镜像 BIOS 1.80 │ │
│ │ 末尾 NVRAM 区 Setup、启动项 │ │
│ └────────────────────────────────────────┘ │
└──────────────────────────────────────────────┘

注意最后那块 NVRAM。Setup 里改的设置、UEFI 启动项都存这儿,跟代码镜像分开。所以升级 BIOS 之后设置还在,但清 CMOS 会把它们抹掉。测试的时候这两件事要分开验证。

  • 升级后 Setup 设置是否保留
  • 清 CMOS 之后是否回到出厂默认
  • 主镜像刷坏之后能不能自动切到备镜像
  • 备镜像起来之后,带外还能不能再刷一次救回来

第三条是必测项,也是最容易漏的一条。做的时候先备份,别拿唯一一台样机去试。

2.5 BIOS 测试盯什么

按优先级排,一般覆盖这些。

测试方向具体做法常见缺陷
启动功能 冷启动、热重启、断电重启各跑 3 次 偶发卡 POST,内存训练失败
Setup 项 逐项改默认值,重启后确认生效 改了不保存,或者保存后不生效
启动模式 UEFI 与 Legacy 来回切,安全开关组合 切完系统起不来
设备枚举 满配、半配、单条内存分别开机 某些槽位认不到
升级 在线升级、离线升级、升级中掉电 升级中断后变砖
回退 刷坏主镜像看能否自动切备镜像 回退逻辑失效,直接不开机
兼容性 换不同型号 CPU、内存、硬盘再测 新部件认不到或降速

升级中掉电那条属于破坏性测试,要留好备份,最好在专门的样机上做。

3 BMC 固件

BMC 是这一章的主角,后面大半篇幅都在围着它转。

3.1 它凭什么独立于主机

BMC 是一块独立的 SoC,有自己的 CPU、内存和 Flash,跑一个裁剪过的 Linux。它接的是待机电压,只要电源插着就在跑,主机开不开机跟它没关系。

这个设计带来一个很实际的好处。主机死机、系统蓝屏、操作系统装崩了,只要网线还通着,你依然能远程看到这台机器,能开关电源,能看屏幕,能挂光盘重装系统。

它挂在主板一侧,通过一堆低速总线把整机捏在手里。

┌───────────────────────────────────────────────────┐
│ BMC 挂在主板一侧,靠低速总线把整机捏在手里 │
├───────────────────────────────────────────────────┤
│ ┌────────────────────────────────────┐ │
│ │ BMC SoC │ │
│ │ 自己的 CPU / 内存 / Flash │ │
│ │ 待机电压供电,开机前就活着 │ │
│ └────────────────────────────────────┘ │
│ │ │
│ ├── eSPI CPU / PCH 取屏幕、读 POST 码 │
│ ├── I2C 温度传感器 温度读数、风扇调速 │
│ ├── PMBus 电源 PSU 功率读数、上下电 │
│ ├── SPI BIOS Flash 在线刷 BIOS │
│ ├── I2C 硬盘背板 盘位与背板健康 │
│ ├── SGPIO 背板 LED 点灯定位 │
│ └── UART 串口重定向 SOL,看 Linux 控制台 │
└───────────────────────────────────────────────────┘

eSPI 那条单独说下。它是 BMC 拿屏幕画面的通道,主机显卡的帧缓存会被送到 BMC,BMC 压缩后传给远程的 KVM 窗口。所以你在带外看到的画面不是 BMC 猜的,是真从主机那边搬过来的。装系统、改 grub 参数、看蓝屏,全靠这条路。

3.2 BMC 内部是什么结构

BMC 自己就是一台小电脑,从下往上看分五层。

┌────────────────────────────────────────────────────────────────┐
│ BMC 自己就是一台小电脑,分五层看 │
├────────────────────────────────────────────────────────────────┤
│ ┌──────────────────────────────────────────────────────────┐ │
│ │ 对外接口层 Redfish / IPMI / SNMP / SSH / Web │ │
│ │ │ │
│ └──────────────────────────────────────────────────────────┘ │
│ │ │
│ v │
│ ┌──────────────────────────────────────────────────────────┐ │
│ │ 业务逻辑层 传感器采集、告警、KVM、虚拟介质、升级 │ │
│ │ │ │
│ └──────────────────────────────────────────────────────────┘ │
│ │ │
│ v │
│ ┌──────────────────────────────────────────────────────────┐ │
│ │ 硬件抽象层 I2C、eSPI、SGPIO、ADC 的驱动 │ │
│ │ │ │
│ └──────────────────────────────────────────────────────────┘ │
│ │ │
│ v │
│ ┌──────────────────────────────────────────────────────────┐ │
│ │ 操作系统层 裁剪过的 Linux,BusyBox + 少量服务 │ │
│ │ │ │
│ └──────────────────────────────────────────────────────────┘ │
│ │ │
│ v │
│ ┌──────────────────────────────────────────────────────────┐ │
│ │ 引导与恢复层 U-Boot、双镜像、看门狗 │ │
│ │ │ │
│ └──────────────────────────────────────────────────────────┘ │
└────────────────────────────────────────────────────────────────┘

最底下那层在测试里最容易被忽略。BMC 自己也有双镜像,也有看门狗,刷新失败会回滚。测 BMC 升级的时候这两条要单独出用例。

3.3 Redfish 长什么样

Redfish 是 DMTF 定的标准,走 HTTPS,数据用 JSON。现在主流 BMC 都支持,是带外管理最主要的对接方式。

资源是一棵树,从 /redfish/v1 往下展开。

┌─────────────────────────────────────────────────┐
│ Redfish 资源树,测试主要围着这几棵子树转 │
├─────────────────────────────────────────────────┤
│ /redfish/v1 │
│ Systems │
│ 整机,型号、序列号、电源状态、BIOS 版本 │
│ └ 1 │
│ 一台机器一个实例,也有的叫 Self │
│ Chassis │
│ 机箱,装传感器和电源 │
│ └ Thermal │
│ 温度、风扇 │
│ └ Power │
│ 功耗、电源模块 │
│ Managers │
│ BMC 自己,固件版本、网络、服务开关 │
│ └ LogServices │
│ SEL 日志、操作日志 │
│ UpdateService │
│ 固件清单、升级任务 │
│ └ FirmwareInventory │
│ 各部件当前版本 │
│ SessionService │
│ 登录换票 │
│ TaskService │
│ 异步任务的进度 │
└─────────────────────────────────────────────────┘

一次完整的访问分两步,先换票,再办事。

┌───────────────────────────────────────────────────────────────────┐
│ 一次 Redfish 会话:先换票,再办事 │
├───────────────────────────────────────────────────────────────────┤
│ 客户端 -> BMC POST /redfish/v1/SessionService/Sessions │
│ {UserName, Password} │
│ BMC -> 客户端 201 Created │
│ X-Auth-Token: 6f3c1a… │
│ 客户端 -> BMC GET /redfish/v1/Systems/1 │
│ 带上 X-Auth-Token 请求头 │
│ BMC -> 客户端 200 OK │
│ {PowerState: On, BiosVersion: 1.90} │
└───────────────────────────────────────────────────────────────────┘

换票拿到的令牌放在后续每个请求的 X-Auth-Token 头里。令牌有有效期,也有数量上限,用的时候别占着不释放,8.3 节会专门讲。

3.4 IPMI 还在用

Redfish 是趋势,IPMI 没有退场。传感器读数、SEL 日志、上下电这些老功能,一行 ipmitool 就能拿到,现场排查的时候比 Redfish 快得多。

IPMI 命令由网络函数和命令字组成,报文末尾带校验和。

┌───────────────────────────────────────────────────────────────────────────────────────┐
│ IPMI 报文长什么样 │
├───────────────────────────────────────────────────────────────────────────────────────┤
│ ┌──────────┬────────────┬────────┬──────────┬────────┬────────┬────────┬────────┐ │
│ │请求方地址│网络函数+LUN│ 校验和 │响应方地址│序号+LUN│ 命令字 │ 数据 │ 校验和 │ │
│ └──────────┴────────────┴────────┴──────────┴────────┴────────┴────────┴────────┘ │
│ │
│ 20 18 C8 81 00 01 — 7E │
│ │
│ Get Device ID 这条命令拆开就是上面这 8 个字节 │
│ 校验和 = (0x100 – 前面所有字节之和) & 0xFF │
└───────────────────────────────────────────────────────────────────────────────────────┘

校验和的算法很简单,把前面所有字节加起来,取补码的低 8 位,第三段那个算式写的就是这个。手工验算一条回包花不了两分钟,遇到怀疑数据是脏的场合,先拿它过一遍。

响应里第三个字节是完成码,0x00 表示命令执行成功,非 0 都是失败。测 BMC 的时候判定要把完成码一起看进去,只看有没有回包是不够的,有些异常回包照样有数据但是完成码是 0xC0 之类的值。

3.5 BMC 测试盯什么

BMC 的测试对象比 BIOS 多一层,因为它既有软件接口,又管着一堆硬件动作。

测试方向具体做法常见缺陷
接口可达性 遍历 Redfish 主要资源,看状态码和字段 某些资源 404,字段名拼错
鉴权 错密码、空令牌、过期令牌分别试 该拒绝的没拒绝
传感器 读数与阈值比对,拔风扇、挡风道 读数跳变、状态不更新
上下电 开机、关机、强制断电、重启 下发了没动作,状态不同步
固件升级 上传、轮询任务、重启、确认版本 卡在某个百分比不动
日志 制造告警,看 SEL 有没有记 漏记、级别判错
KVM 与介质 开 KVM、挂虚拟光驱 连不上、画面卡住
网络与账户 改 IP、改密码、锁账户 改完连不上

4 CPLD/FPGA 固件

4.1 CPLD 每天在干的三件小事

CPLD 是一块小规模的可编程逻辑,你可以把它理解成一片用代码写死的硬件电路。它不通操作系统,一上电就在那儿跑,干的是最底层、最不容错的活。

  • 上电时序。哪一路电压先起来,哪一路后起来,间隔多少毫秒,都由它控制
  • 复位管理。CPU 的复位信号什么时候撤掉,复位持续多长时间
  • 状态指示。前面板的灯、硬盘背板的定位灯、UID 灯

上电的完整链路是这样走的。

┌───────────────────────────────────────┐
│ 按下电源之后,谁先动 │
├───────────────────────────────────────┤
│ 按下电源键 / 网口发开机命令 │
│ │ │
│ v │
│ 1. CPLD 先醒,检查供电条件 │
│ 电源正常才往下走 │
│ │ │
│ v │
│ 2. CPLD 按顺序拉起各组电源 │
│ 1.0V -> 1.8V -> 内存 -> PCIe │
│ │ │
│ v │
│ 3. CPLD 撤掉 CPU 复位信号 │
│ CPU 开始取指 │
│ │ │
│ v │
│ 4. BIOS 从 Flash 里跑起来 │
│ 内存初始化、枚举设备 │
│ │ │
│ v │
│ 5. BIOS 交棒给 OS 引导器 │
│ POST 结束,写日志 │
│ │ │
│ v │
│ 进入操作系统 │
└───────────────────────────────────────┘

开篇那次事故就卡在第 3 步。CPLD 版本不对,复位信号的时序对不上,CPU 一直被按住,BIOS 根本没机会跑。

4.2 CPLD 和 FPGA 不是一回事

名字经常连着写,两者差别不小。

对比项CPLDFPGA
规模 小,几百到几千逻辑单元 大,几十万到百万级
掉电后 配置在片内 Flash,立刻能跑 多为 SRAM 型,要外部 Flash 加载
上电速度 毫秒级 几十毫秒到几百毫秒
典型用途 上电时序、复位、点灯 算法加速、协议处理、智能网卡
升级风险 刷挂了机器起不来 加载失败会回退或保持原状

服务器上用 CPLD 居多,管上电时序和点灯。FPGA 一般出现在有特殊需求的机型上,比如做数据压缩、做 RDMA 卸载的智能网卡。

4.3 怎么刷

CPLD 的升级路径有两条。

一条是通过 BMC。固件包塞进 BMC 的升级流程,BMC 通过 I2C 或者 JTAG 把配置写进 CPLD。这是给客户用的正式路径,也是测试要覆盖的路径。

另一条是烧录器直连,研发调试和生产返修时用。测试一般不走这条路,但要确认这条路存在,否则机器刷挂了没法救。

升级过程中断电是必测项。CPLD 刷一半断电,机器大概率起不来,这时候要确认售后有没有救回来的手段,以及告警能不能正常上报到 BMC。

4.4 测试关注点

测试方向具体做法常见缺陷
上电时序 示波器量各组电压的爬升顺序和间隔 间隔不满足 CPU 要求
开机可靠性 反复上下电 50 次以上 偶发不开机,卡在复位
点灯 逐个点亮 UID 灯、定位灯、状态灯 灯不亮或颜色错
升级 正常升级、升级中断电、版本回退 刷挂、回退失败
配套关系 与 BMC、BIOS 的配套矩阵 版本不配套导致不开机

配套关系那一条是我在开篇那次事故里学到的,价值远超它的执行成本。

5 控制器固件

这一类是插卡和模块上自带的固件,数量最多,也最容易在测试计划里被漏掉。

5.1 都包含哪些

部件固件里有什么怎么查出问题时的表现
RAID 卡 RAID 算法、缓存策略、硬盘驱动 storcli / perccli show 认不到盘,阵列降级
网卡 PXE、NC-SI、RoCE、速率协商 ethtool -i 网络不通,PXE 起不来
电源 PSU 功率上报、过流保护 BMC 的 Power 资源 功率读数异常,拒绝供电
硬盘背板 盘位识别、SES 点灯、速率协商 BMC 或 sg_ses 盘位错乱,灯不亮
GPU 显存训练、功耗策略、VBIOS nvidia-smi 认不到卡,降频
TPM 密钥管理、度量算法 tpm2_getcap 安全启动失败

这些固件有个共同点,版本号格式五花八门。RAID 卡可能是 4.680.00-8152,网卡是 22.0.6,电源是 1.06。判版本高低的时候不能一刀切用一套规则,得先拆分再比较,5.3 节专门讲这个。

5.2 配套矩阵怎么验

每台机型的发布说明里都会给一张配套矩阵,写清楚各部件的最低版本要求。升级前后各跑一次,把实际读到的版本逐项比对。

拿开篇那台机器举例,BMC 3.20 对六个部件有要求,实际读出来是这样。

部件要求下限实际版本结论
BMC 3.20.10.10 3.20.10.10 通过
BIOS 1.90 1.90 通过
CPLD 1.08 1.07 低于下限
RAID 4.680.00-8152 4.650.00-7901 低于下限
NIC 22.0.6 22.0.6 通过
PSU 1.06 1.06 通过

这张表一眼能看出问题出在 CPLD 和 RAID。CPLD 不配套直接开不了机,就是开篇那次事故的现场。RAID 卡版本偏低当场不一定报错,但跑久了会有掉盘和降速,属于放着不管就要出事的那种隐患。

比对的时候有三种情况要单独处理,别一股脑判成不通过。

  • 读不到版本。部件不在位、驱动没装、命令没权限都会返回空,这跟版本低是两回事,结论栏要单列
  • 分隔符不同。文档写 4.680.00-8152,机器上读出 4.680.00.8152,只是横杠换成了点
  • 位数不同。要求写 3.20,实际读到 3.20.10.10,短的一方补零再比

5.3 版本号怎么比

字符串直接比会出事。"1.90" > "1.100" 按字典序成立,但 1.100 明明更新。正确做法是把版本号里的数字段抽出来,短的补零,再逐段比大小。

按这个规则过一遍,几组容易判错的版本号是这个结果。

旧版本新版本比较结果版本跨度
1.90 1.100 低于 特性版本
3.20.10.10 3.21.00.00 低于 特性版本
4.680.00-8152 4.680.00-8152 等于 相同
22.0.6 21.5.9 高于 回退
1.08 1.8 等于 相同

第一行就是琢磨这套规则的理由。字典序会判 1.90 更大,可 100 明明比 90 大。

第四行说的是另一件事。22.0.6 对 21.5.9 判定为高于本身没错,但放在升级校验的场景里,新版本比旧版本高,方向反了,结论是发生了回退,要单独告警。

最后一行要留意。1.08 和 1.8 抽出的数字段都是 (1, 8),按数值比较是同一个版本。厂商换写法的时候经常出这种事,机器读到的版本跟文档写的对不上,比对时要能容忍这种情况。

还有一类版本号带字母尾巴,比如 3.20.10.10a、1.90-rc1。字母段的排序口径各家不统一,遇到这种先跟厂商确认,别照着自己的猜测判,判错一次可能就把一批不配套的机器放行到生产环境去了。

5.4 测试关注点

测试方向具体做法常见缺陷
版本读取 带内带外各读一次,交叉比对 两边读到的版本不一致
配套矩阵 升级前后各跑一次校验 版本不配套,功能异常
功能回归 建阵列、跑网络、读写盘 升级后掉盘、降速
升级 卡固件单独升级,看是否影响其他部件 升级后 RAID 配置丢失
掉电 升级过程掉电 卡变砖,要返修

最后一条要提前跟硬件同事确认卡有没有双镜像,没有的话别在生产环境试。

6 闭源商用 BMC 固件介绍

6.1 开源和闭源两条路

BMC 固件现在分两条路走。

一条是开源路线,代表是 OpenBMC。它由 Facebook 在 2014 年前后发起,后来捐给 Linux Foundation,现在 IBM、Google、Intel 等公司都在参与。技术上基于 Yocto 构建,跑 systemd,服务是一套叫 phosphor 的组件,Redfish 的实现叫 bmcweb。

这条路的好处是源码在手,能加东西能查问题。代价是要自己维护整套板级支持包,换了硬件平台要重新适配,团队里得有人真懂嵌入式 Linux。

另一条是闭源商用。服务器厂商向 AMI、Insyde 这类方案商买授权,拿到一份编译好的固件和一套定制工具,再在自家机型上做适配和界面开发。好处是成熟、稳定、上市快;代价是源码拿不到,能改的只有配置项,出了问题只能提单等厂商。

对比项OpenBMC闭源商用 BMC
源码 全部开放 拿不到,只有二进制和配置项
定制能力 想加什么加什么 只能在厂商给的范围内改
上手成本 高,要养嵌入式团队 低,按文档配置就行
问题定位 自己看日志、打补丁 提单等厂商,周期不可控
典型用户 大型互联网公司自用 绝大多数商用服务器

6.2 闭源商用 BMC 家族

各家给自己的 BMC 起了不同的名字,本质上都是同一类东西,只是界面、私有接口和命令行工具不一样。

厂商名字主要接口命令行工具
Dell iDRAC Redfish、IPMI、Web racadm
HPE iLO Redfish、IPMI、Web ilorest
Lenovo XClarity Controller Redfish、IPMI、Web OneCLI
华为 iBMC Redfish、IPMI、SNMP、Web ipmcget / ipmcset
新华三 HDM Redfish、IPMI、Web 自带 CLI
浪潮 BMC Redfish、IPMI、Web 自带 CLI
超微 BMC Redfish、IPMI、Web ipmicfg

测这类 BMC 的时候有个通用套路。先摸清它开放了哪些接口,Redfish 覆盖到什么程度,哪些功能只能走私有接口或者 Web 界面。把清单列出来,再决定哪些能用命令行批量验,哪些必须有人在界面上点。

6.3 iBMC 长什么样

iBMC 是华为服务器的带外管理系统,国内项目里碰到的概率很高,单独拿出来说。

它提供的能力可以分成几块。

能力说明测试时的入口
状态监控 传感器、功耗、健康度汇总 Redfish Thermal / Power
远程控制 开关机、重启、强制断电 Redfish Reset 动作
远程控制台 KVM,HTML5 方式免装客户端 Web 或私有接口
虚拟介质 挂本地镜像当光驱 私有接口或 Web
日志 SEL、操作日志、黑匣子快照 Redfish LogServices
告警 SNMP Trap、邮件、Syslog 上送 配置后抓包验证
固件升级 BMC、BIOS、CPLD 都能刷 Redfish UpdateService
命令行 SSH 登录后用 ipmcget 系列 SSH 通道

命令行这几条用得最多,登录 iBMC 的 SSH 之后直接敲。

命令作用
ipmcget -d version 各部件固件版本
ipmcget -d health 整机健康状态
ipmcget -d sensorlist 传感器读数
ipmcget -d sel SEL 日志
ipmcset -d powerstate -v 1 开机,0 是关机,2 是强制重启

ipmcget -d version 这份输出要完整留档。它列的是 BMC 自己认识的固件清单,比 Redfish 的 FirmwareInventory 全,遇到 BIOS 版本对不上的时候,拿它当第三方佐证很有用。

6.4 闭源给测试带来的约束

闭源 BMC 的测试思路跟测开源软件不一样,有三条约束要先认下来。

第一,只能黑盒。看不到实现,唯一能依据的是接口文档和实际响应。接口文档经常是滞后的,字段对不上是常态。我的做法是把机器上的资源逐个访问一遍,把真实响应留成快照,拿快照当事实标准,文档只当参考。

第二,私有接口没有文档。有些功能只在 Web 界面上有,接口是私有的。这种只能开浏览器抓包,把请求和响应抄下来再用。抓包时注意区分哪些是 Redfish 标准路径,哪些是 /UI/Rest 这类私有路径。

第三,版本之间行为会变。同一个接口在 3.17 和 3.20 上返回的字段可能不一样,错误码也可能变。用例里不要写死版本号相关的分支,把这类差异集中到配置里,升级后统一改。

这三条决定了闭源 BMC 的测试策略要以接口断言为主,以日志分析为辅,能拿到的证据都拿到。

7 服务器 BMC 测试详解

7.1 测试对象分成四层

BMC 的测试对象从外到内分四层,每层关注的点不一样。

层级测什么典型手段
网络与鉴权 端口通不通、证书、令牌、账户锁 telnet 探端口、curl、多人同时登录
接口与资源 资源在不在、字段对不对、状态码 Redfish 逐个访问、翻字段核对
功能与动作 上下电、升级、KVM、虚拟介质 下发动作,再确认结果真的到位
硬件行为 传感器、风扇、灯、功耗 读数比对、人为制造故障

四层里最常被漏掉的是第一层和最后一层。中间两层接口清楚、判定好写,大家抢着做;网络层和硬件行为层因为麻烦没人愿意碰,出问题时偏偏就出在这两层。

7.2 七类测试

按测试类型拆,一个完整的 BMC 测试周期要跑这么七类。

类型跑什么判定标准
功能测试 每个接口逐个验证正常路径 响应符合预期,副作用确认生效
异常测试 错参数、错令牌、超范围值 返回规范错误码,不崩溃
一致性测试 字段命名、状态码、错误体结构 符合 Redfish 规范
压力测试 高频查询、并发会话上百次 无内存泄漏,响应不超时
稳定性测试 连续跑 72 小时以上 服务不重启,读数不漂移
兼容性测试 不同浏览器、不同 ipmitool 版本 都能正常工作
升级测试 跨版本升、回退、中断续传 版本正确,配置不丢

一致性测试单独拿出来说。Redfish 有官方的一致性校验工具,跑一遍能发现不少字段命名不规范的地方。项目里如果要求过 Redfish 认证,这一步是硬指标。

7.3 一条用例长什么样

写 BMC 用例跟写普通接口用例最大的区别在清理环节。BMC 是有状态的,上一条用例改了设置,下一条用例就可能挂在一个莫名其妙的地方。

一条 BMC 用例至少要有这五个要素。

要素内容为什么要有
前置条件 BMC 在线、账户可用、机器处于已知状态 排除环境干扰
操作步骤 一次只做一件事,动作和等待分开写 失败时能定位到步
预期结果 状态码 + 业务字段 + 副作用确认 只验状态码会漏掉一半缺陷
清理 恢复改动、登出会话、关闭虚拟介质 避免污染后续用例
可重复 连着跑 10 次结果一致 偶发缺陷只有靠重复才抓得出来

第五条最花时间,回报也在这儿。BMC 上的偶发缺陷比想象中多,比如某类告警只在特定的时序下才会记进 SEL,单跑一次撞不上,连着做十次能复现出来。

7.4 传感器阈值怎么判

BMC 会给每个读数自带一个 Health 字段。测试要做的是拿读数跟阈值再算一遍,看它自己判得对不对。这一步能抓出阈值配置错误和状态不更新这两类缺陷。

拿六个读数举例,左边是阈值,右边是自己算的结果和 BMC 自报的结果。

传感器读数下限非严重上限严重上限应判BMC 自报
CPU1_Temp 52.0 5.0 78.0 85.0 OK OK
CPU2_Temp 55.0 5.0 78.0 85.0 OK OK
Inlet_Temp 24.0 0.0 40.0 45.0 OK OK
DIMM_Zone 41.0 0.0 75.0 82.0 OK OK
PCIe_Zone 79.0 0.0 78.0 85.0 Warning Warning
Fan4 0.0 500.0 无 无 Critical Critical

判定规则就四条,够到严重上限判 Critical,掉到下限以下也判 Critical,够到非严重上限判 Warning,其余是 OK。

倒数两行是特意留的。PCIe_Zone 的 79 度过了 78 的非严重上限但没到 85,落在中间那一档;Fan4 转速为 0,低于转速下限 500,判的是 Critical,它在验证另一侧边界。真跑起来这两条经常不对,要么显示了读数却把状态写成了 OK,要么状态更新慢半拍。

真机上这份数据从 Redfish 的 Thermal 资源里读,字段对应关系是 ReadingCelsius 对读数,UpperThresholdNonCritical 对非严重上限,UpperThresholdCritical 对严重上限。不同厂商的字段命名偶尔会有出入,第一次接新机型时先把原始 JSON 摊开看一遍,别照着文档里的字段名写死。

7.5 手工怎么跑

刚开始接触一台 BMC,先手工跑通一遍心里才有底。两个工具够用了。

curl 负责 Redfish,一次完整的调用分这么四步。

步骤要点
换票 向 SessionService/Sessions 发 POST,请求体里带 UserName 和 Password
取令牌 令牌在响应头里,字段名是 X-Auth-Token
带票访问 后续每个请求都带上这个头,没带的会被拒
跳过证书 加 -k 参数

真机上跑基本躲不开 -k,BMC 大多用自签证书,不加就报证书错误。这条仅限排查的时候用,正式环境把 BMC 的证书导进信任列表,别让跳过的动作悄悄变成常态。

ipmitool 负责那些一条命令能搞定的查询,四个子命令最常用。

用途子命令
传感器读数 sdr list
日志 sel list
电源状态 chassis power status
BMC 自身信息 mc info

这几个查询都要带 -I lanplus -H 地址 -U 账户 -P 密码,差别只在最后那个子命令上,记一套就等于记了四条。

这两个工具的取舍有一条经验。查状态、批量读数、做快速验收用 ipmitool;要看字段结构、验证一个 Redfish 资源到底返回了什么用 curl。后者返回的是原始 JSON,一眼能看到大小写和嵌套关系,写用例时需要的就是这份原始形状。

7.6 Web 界面怎么测

有一部分功能只在 Web 界面上提供,比如 KVM 的免客户端模式、虚拟介质的图形化挂载、一键收集日志。这些没有对外接口,只能照着一屏一屏点过去。

这个领域有几处跟普通网页测试不一样的地方。

登录页和主页之间隔着一层 iframe。iBMC 这类系统的主页元素全在框架里,不切进框架,元素定位再怎么找都找不到。

BMC 的 Web 界面加载慢。普通网页等几秒就够,BMC 上等二三十秒才刷出内容属于正常节奏,判定超时的时间要按这个量级给。

同一时刻只允许一个 KVM 会话。测试的时候两个人同时开,后开的会把先开的踢掉,看起来像网络故障。

虚拟介质的挂载依赖本地运行环境。老版本要 Java,新版本走 HTML5,换个浏览器结果完全不同,这项要覆盖两个以上的浏览器。

一键收集日志动辄几分钟。页面超时和任务实际完成是两回事,别一看到页面转圈就判失败,去任务列表或者文件下载目录确认结果。

界面层还有一类检查容易被跳过。同样的操作在 Web 上做和在命令行做,最终结果要一致。举个例子,界面里改了风扇模式,回到 Redfish 的 Thermal 资源读一次,模式字段应当同步变了。这类跨入口的一致性检查能挖出界面回调没打通的缺陷。

8 iBMC 测试详解

8.1 比标准 Redfish 多了什么

iBMC 在标准 Redfish 之外加了一批私有能力,测的时候要单独覆盖。

扩展能力说明测试要点
智能调速 按温度分区调速,可切手动 切模式后转速渐变,不能立刻判定等于目标值
功耗封顶 限制整机功率上限 设上限后实际功耗是否被压住
故障快照 故障时自动抓取黑匣子 制造故障,看快照有没有生成
一键收集 打包日志供售后分析 触发后能否下载到完整压缩包
双机备份 部分机型支持 BMC 主备 主 BMC 挂掉后备能否接管
安全加固 密码策略、登录锁定、证书替换 弱密码是否被拒,锁定期是否生效
虚拟介质 挂本地镜像装系统 挂载后主机能否识别到光驱
远程控制台 HTML5 KVM 画面是否能出,键鼠是否可用

8.2 常用接口清单

下面这份是测 iBMC 时打交道最多的接口,按用途分组。

用途接口方法
换票 /redfish/v1/SessionService/Sessions POST
整机信息 /redfish/v1/Systems/1 GET
传感器 /redfish/v1/Chassis/1/Thermal GET
电源 /redfish/v1/Chassis/1/Power GET
BMC 自身 /redfish/v1/Managers/1 GET
固件清单 /redfish/v1/UpdateService/FirmwareInventory GET
触发升级 /redfish/v1/UpdateService/Actions/UpdateService.SimpleUpdate POST
任务进度 /redfish/v1/TaskService/Tasks/{id} GET
日志 /redfish/v1/Managers/1/LogServices/SEL/Entries GET
开关机 /redfish/v1/Systems/1/Actions/ComputerSystem.Reset POST
网络协议 /redfish/v1/Managers/1/NetworkProtocol GET / PATCH

8.3 三个容易掉的坑

会话数有上限。iBMC 同时允许的会话数是个位数,每次登录占一个位,用完不主动登出,累计到十几条之后就开始报会话耗尽。它的报错信息还很含糊,容易被当成网络不通去查。习惯开头的登录,收尾一定要退出,或者在后台逐个清掉闲置会话。

连续动作之间有冷却时间。关机之后立刻开机,iBMC 大概率拒绝,电源状态切换本身需要时间,两次动作挨太近,后一个会被直接丢掉。判定之前先确认状态真的到位了,别指望下发即生效。

升级是异步的。上传固件包返回 202 只代表受理了,真正刷完要几分钟,中间 BMC 还可能自己重启一次。

┌────────────────────────────────────────────────────────────┐
│ 刷固件是异步的,接口只负责受理 │
├────────────────────────────────────────────────────────────┤
│ 下发升级请求 │
│ │ │
│ v │
│ POST /UpdateService/Actions/UpdateService.SimpleUpdate │
│ │ │
│ v │
│ 202 Accepted,回 Location 指向一个任务 │
│ │ │
│ v │
│ GET /TaskService/Tasks/1 轮询 PercentComplete │
│ │ │
│ v │
│ 100% 且 TaskState 为 Completed,才算真的刷完 │
│ │ │
│ v │
│ 重启 BMC,再读一次固件版本确认 │
└────────────────────────────────────────────────────────────┘

正确流程是拿返回里的 Location 去轮询任务,等到进度 100% 且状态为 Completed,再重启 BMC 读一次版本确认。判定写成传完包立刻查版本号等于新版本,必挂。

这三条的共同点在于 BMC 的动作基本都是异步的,接口只负责受理。定判定标准的时候心里要有这个前提,凡是涉及做某件事的接口,后面都要留一段等待。

9 一轮 BMC 测试怎么排

前面两节讲的是测什么,这一节讲怎么把它组织成一轮能交付的测试。

9.1 执行顺序不能乱

BMC 的用例之间有依赖关系,乱着跑会冒出一堆假失败。按下面这个顺序来。

┌────────────────────────────────────────────────────┐
│ 一轮 BMC 测试的执行顺序 │
├────────────────────────────────────────────────────┤
│ ┌──────────────────────────────────────────────┐ │
│ │ 1 环境确认 网络通、版本对、账户能用 │ │
│ │ │ │
│ └──────────────────────────────────────────────┘ │
│ │ │
│ v │
│ ┌──────────────────────────────────────────────┐ │
│ │ 2 只读用例 资源、传感器、日志 │ │
│ │ │ │
│ └──────────────────────────────────────────────┘ │
│ │ │
│ v │
│ ┌──────────────────────────────────────────────┐ │
│ │ 3 开关机 开机、断电、重启 │ │
│ │ │ │
│ └──────────────────────────────────────────────┘ │
│ │ │
│ v │
│ ┌──────────────────────────────────────────────┐ │
│ │ 4 破坏性用例 拔风扇、断电源、造告警 │ │
│ │ │ │
│ └──────────────────────────────────────────────┘ │
│ │ │
│ v │
│ ┌──────────────────────────────────────────────┐ │
│ │ 5 升级与回退 刷固件、切双镜像 │ │
│ │ │ │
│ └──────────────────────────────────────────────┘ │
│ │ │
│ v │
│ ┌──────────────────────────────────────────────┐ │
│ │ 6 收尾恢复 恢复默认、导出报告 │ │
│ │ │ │
│ └──────────────────────────────────────────────┘ │
└────────────────────────────────────────────────────┘

同一件事换成表格是这样。

顺序阶段内容为什么放这个位置
1 环境确认 网络通、版本对、账户能登录 后面所有用例的地基
2 只读用例 资源访问、传感器、版本、日志 不改机器状态,随便跑
3 开关机类 开机、关机、重启、强制断电 会动电源状态,放中间
4 破坏性用例 拔风扇、断冗余电源、制造告警 留下一堆告警,别干扰前面的
5 升级与回退 固件升级、版本回退、双镜像切换 一跑就要重启,放最后
6 收尾恢复 恢复默认、清会话、导出报告 把机器还给下一个人

第 4 类一定要排在第 5 类前面。升级会把配置和历史日志清掉,在升级之后再查 SEL 等于白查,看到的只有升级本身产生的那几条。

顺序搞反的代价我见过一次。破坏性用例跑完满屏告警,接着一轮升级把它们全清了,写报告时才发现缺证据,只好从头再蹲一遍机房。四十多条用例,白跑。

9.2 环境要准备什么

一轮测试开始之前,下面这些东西先到位。缺哪一项都可能让整轮测试停下来。

类别内容
硬件 被测机器、串口线、独立交换机、可编程电源
信息 机型、固件清单、配套矩阵、发布说明、接口文档
账户 管理员账户、只读账户、已锁定账户各一个
工具 curl、ipmitool、厂商命令行工具、抓包工具、串口终端
基线 升级前的版本清单、配置快照、SEL 日志快照
退路 上一版固件包、救砖流程、厂商对接人

退路这一行要在排期阶段就落实。真刷成砖之后再去找人,一个来回就是半天,遇上节假日还得往后延。

9.3 缺陷怎么记

BMC 的缺陷单跟普通软件的错误报告写法不一样,同一个现象由不同模块引起的情况太多。一条能被厂商受理的单至少要带上这些信息。

字段要点
环境 BMC、BIOS、CPLD 三个版本号,加机型和时间
复现步骤 从登录开始写,会话编号和两次动作的间隔都要写进去
实测与预期 贴原始响应,不要只贴一句转述的结论
日志 SEL 条目、BMC 操作日志、串口输出各截一段
影响面 是否阻塞升级,是否需要现场救砖

版本那几项看着啰嗦,实际能省掉一轮往返。我手里被退回过的单,十有八九是漏了 CPLD 版本,厂商那边复现不出来就直接打回来补信息,一来一回三四天。

9.4 报告里要有什么

一份能让人拿去做决策的报告,得回答三个问题。跑了什么,结果怎样,能不能放行。

  • 覆盖范围。共多少条,四个层级各占多少,哪些因为环境受限没跑
  • 缺陷分布。按模块和严重级别分组,阻塞升级的有几条
  • 结论。能否放行,放行要附带什么条件

第三条最容易被写废。只写通过两个字没有信息量,把限定条件写清楚才有价值,比如要求先刷 CPLD 到 1.08 以上再升 BMC,或者要求只在某批次之后的机器上放行。

小结

这一章从一台服务器的固件清单讲起,把 BIOS、BMC、CPLD、控制器固件各自的职责和刷新方式过了一遍,又讲了闭源商用 BMC 和 iBMC 的能力边界。

后半部分的重点在测试。BMC 的测试对象分四层,测试类型分七类,写用例时要把前置、步骤、预期、清理、可重复这五个要素写全。iBMC 这类闭源系统上还有三个绕不开的坑,会话上限、动作冷却、升级异步,定判定标准之前心里要有数。

最后一节给了一轮测试的执行顺序,从环境确认一直排到收尾恢复,外加一份环境清单。顺序这件事看着琐碎,实际能省掉大量重复返工。

赞(0)
未经允许不得转载:网硕互联帮助中心 » 第一章 服务器固件介绍
分享到: 更多 (0)

评论 抢沙发

评论前必须登录!