一条模拟器没学过的指令
现在咱们讲那一跤。控制器代码头一版上了机,机器在 KVM 里启动了,走到控制器初始化附近就死了,死状很别致的一桩。内核静悄悄的,三重故障倒是也没有,报话的是模拟器:它不认识一条指令,把整个虚拟机撂在原地。咱们手里只有这么个现象,连报错的地址都透着一股迷惑:0x40。这个数太巧了,恰好是咱们消息向量池的起点,难道是消息桩装错了,中断进来踩了空?咱们差一点就顺着它查下去。咱们稳住了,复现了,隔离也做了,一层一层地剥。
复现是齐的:只要带着控制器这版代码,进了 KVM 必死。隔离咱们做了两版临时镜像,不改主树的一份代码:一版只把初始化答成失败,机器绕过了控制器,正常进了 shell,这说明控制器之外的全世界都是干净的。另一版专门恢复那行可疑的读法,机器复现了死法。病锁定在那一行读寄存器的代码上。那行代码长这样:版本号在能力区偏移二的地方,两个字的宽度,咱们图省事,把窗基址加二转成一个四字节的指针,一读了事。反汇编告诉咱们,优化器把这行读编成了什么:一条 movd,把那个错位的四字节搬进了 SSE 寄存器 XMM0。指令字节抄了下来,六十六开头的五个字,咱们拿着它去查模拟器那本指令册子,册子上偏偏没写它,连 0F 6E 的条目都翻不到。
咱们把机制讲明白,因为这里头有两层常理之外的道理。头一层的道理,为什么好好的两个字读,会被编成 SSE 的指令。优化器在高挡位下会做向量化的活,把零散的小数据搬运用 SIMD 指令一锅端,在普通内存上的话,这没有任何的问题。可咱们读的并非普通内存。咱们读的是 MMIO 窗,内存映射的设备寄存器,一读一写都真地发到设备那边去。MMIO 的触碰让 CPU 退出虚拟化,回到了 KVM 手里,KVM 看了看,它得替 CPU 把指令模拟了,翻了册子,没有它的条目,模拟失败了,整台机器停了摆。你看这链条:非对齐的地址,给了优化器一个向量化的小机会,优化器编出了一条别扭指令,它在真硬件上倒是毫无问题,偏偏模拟器的模拟路径没实现它。第二层道理更冷:宿主长凳为什么测不出来。宿主测试跑在咱们开发它的电脑的普通内存上,那套环协议、那套形状解码的代码,内存里的读写怎么编都行,压根走不到 MMIO 退出的那一步。所以,这一类的病,是宿主测试在原理上的盲区,它只活在虚拟机与模拟器的交界处。这是模拟器与真硬件的边界,测试没有过错可怪:模拟器替 CPU 模拟指令是有清单的,代码用上了清单外的指令,通过与否就赌在了对方的实现上。
修法的刀有两把,一把治的是当下,一把治的是门风。头一刀管的是寄存器域,一律从对齐的整字上取:版本号与能力区长度都在偏移零那个对齐的四字节里,版本占的是高半,长度占的是最低的一字节,做一次对齐的读,从位词表上把域裁了出来,门铃与运行时的偏移同样把保留位裁掉。第二刀进编译岛:所有触碰 MMIO 的编译件,编进那座只许通用寄存器的岛。这座岛不是什么新发明,第二颗脑子那一卷那把太勤快的扫帚案(优化器自作主张多干了活的旧案)之后,内存原语就住进去了,如今控制器一家也搬了进去,反汇编验证过了,岛上不见一条 XMM 家族的指令。0x40 那个迷魂的地址后来也水落石出:它出现在故障现场,与消息向量池的撞数纯属巧合,能力区的长度本来就可能报这个数,单凭数值认亲的做法,是咱们差点犯的第二个错。
这一跤还顺带立了一样东西:机内的控制器用例。为什么机内,咱们上一段刚说完,这病的现场只在虚拟机里。为什么强制,这里头有一段当年的旧话。第一遍的工程线上,测试入口默认不挂 USB 的设备,控制器的用例开机一看设备不在,客客气气地早退,退出码还是绿的,一屋子人都以为过了,机器上其实一个字没验。重走的这一遍,咱们把设备参数直接写进主跑面,机内用例真实调用控制器的初始化,强制断言的是设备在、端口数对、槽位到手,设备不在的话判的就是失败,没有跳过的说法。跳过的用例作不了数,通过必须真在跑起来的机器上取得,咱们就此立成家法。案子破了,岛立了,咱们的控制器也终于在 KVM 里稳稳地跑了起来。不过它跑起来之后,真正的活才开始:把设备的报告变成终端里的字。下一章咱们讲这套栈怎么分层,回调怎么落进代码。