MSR 件与 GS 落脚点
上一节末尾留的活:门轴开在 MSR 里,而工具没有。MSR 是所谓的型号专属寄存器,CPU 机箱里一排不进指令集正经名册的暗格,咱们按编号访问,rdmsr 和 wrmsr 两条指令进出:编号占的是 ECX,值就放进了 EDX:EAX 这对寄存器。长模式的总开关 EFER 就住在这排暗格中。boot 当年拧开长模式用的就是它,拧完就跳走了,手里的工具也没传下来。咱们盘过家底:内核树里读写 MSR 的函数一个没有。接下来咱们打这对工具,也把 GS 的家安上,中间交代一段自家的家务,末了讲一桩模拟器的公案。
工具进的是 instructions.hpp,这是一行指令的收容所,pause 早就在这里住下了。WriteMsr 值得咱们停下来整段看:
inline void WriteMsr(unsigned int index, unsigned long long value) {
auto const kLow = static_cast<unsigned int>(value & 0xFFFFFFFFULL);
auto const kHigh = static_cast<unsigned int>(value >> 32);
__asm__ volatile("wrmsr" : : "c"(index), "a"(kLow), "d"(kHigh) : "memory");
}要紧的是头两行的拆法:值进门就一分为二,低 32 位进的是 EAX,高 32 位进的是 EDX,各是各的操作数,由各自的约束送达。咱们较这个真,因为咱们当年在这里栽过:头一回往 ring3 跳,MSR 的写入上就躺着一条 bug。汇编对 64 位的 RDX 整个做了左移 32,想着把值挪到高的半边,可 wrmsr 根本不看 RDX 的高 32 位,偏偏只认 EDX,移上去的位等于直接扔掉。STAR 的高 16 位成了零,SYSRET 拿着一个数据段的选择子当 CS,而 CPU 在数据段上取指,当场就炸了。到了这一回,拆法长在了函数身上,想再犯的话就得绕开这个函数。
暗格的编号另外立了一张词汇表 msr.hpp:EFER、STAR、LSTAR、SFMASK、FS base、GS base、KERNEL_GSBASE,一共凑了七个词,起名跟 Linux 的 msr 索引头对齐。Linux 把全机的 MSR 编号编成了一部字典,咱们把这一卷用得着的七个词借了过来。为什么编号要写成名字,这个问题您且揣着,这一卷的后头有一桩翻案,案底就藏在了这些号里。EFER 的四个位也顺手入了词汇:第 0 位 SCE,SYSCALL 和 SYSRET 的解锁位。LME 与 LMA 管的是长模式的开关和指示灯。NXE 管的是页表执行禁位的总闸。
然后咱们安家。跨环的那一瞬,有三个数要用:内核栈顶、用户栈顶、外加一格传递东西的空位。三个数都是 CPU 的家当,不是哪个任务的——将来一个核一份,谁在跑都从自己的核上取。放哪?在内核里立个全局变量,是不行的,写死一个地址,一个核一份的日子到来那天,全家的核挤在一个门牌上。挂在任务的身上,同样是不行的,syscall 入口最前面那几条指令执行的时候什么都还没安顿,连问一句当前是谁的工夫都没有,拿什么去找任务。段寄存器 GS 才是正路:gs:偏移 的寻址是 GS base 加偏移,base 存在 MSR 的暗格里,特权级跳了一圈、页表换了一轮,而这个 base 一次都不用重载,答案永远在寄存器的体系里等着。所以咱们立了一块 24 字节的 PerCpu,三个四字的分工:gs:0 是内核栈顶,gs:8 暂存的是用户栈顶,gs:16 是传递东西的空位。汇编往后全按 gs:0、gs:8、gs:16 的偏移摸过来,偏移断言照进程那一卷给上下文立的家法逐条立好:凡汇编按偏移寻址的结构,拿 offsetof 一条条地对死,堵住 C++ 和汇编的漂移。
GS base 自己的名下有两个暗格,一个写的是 IA32_GS_BASE,另一个写的是 IA32_KERNEL_GSBASE。为什么要一对?swapgs 交换的就是它们:syscall 入口换一次,而 sysret 出口再换回来,内核态和用户态各认各的 GS。咱们的装法是把两个都写成本块的地址——交换的两边相等,而换过没换过,gs: 寻址的落点都是同一块。在用户程序有自己的 TLS(线程局部存储,每个线程一块自留地)之前,这是最简单的正确解:将来客人真要 TLS,GS 的另一半让出来就是,这块的结构不用动。装好了读回来,面板那行 gs base 后头的数,就是 PerCpu 实体的真地址,写进去的与读回来的对得上。efer 的 500 这下也能认领了:0x500 是第 8 位的 LME 加第 10 位的 LMA,长模式是开着的,灯也跟着亮了。可第 0 位偏偏是 0,SCE 的锁还没开。SYSCALL 和 SYSRET 两条指令出厂是锁着的,开锁的钥匙是 EFER.SCE,而这把钥匙现在还插在锁孔里没拧。您把第 0 位记牢:下一节客人头一回往下跳,绊倒他的就是它。
咱们往下还有一段家务要交代,是 PerCpu 和 Tss 自己的出身。头一版的这两件,写成了 .cpp 匿名命名空间里的全局实体,外面再导出的是一对访问函数:数据是藏着的,函数是露着的。交完了复盘,两个问题自己找上门:这两件该不该是单例?这样的全局变量,给得合适吗?咱们把全树扫了一遍,犯同样毛病的只有这两件——其余的全局符号,要么是链接器和汇编的协议符号,跨语言的事实动不得。要么是纯模块私产,等价于类里的一个 private static。而家里早有现成的路子:Pmm、Heap、Pic、Tick 全家穿的是同一件单例壳,self() 里放着 constinit 的函数局部静态,实例在进 main 之前就位了,零构造的纪律不破。PerCpu 和 Tss 没有另立门户的理由,双双入了籍。入籍要过一道体检:Tss 是 packed 的 ABI 数据,偏偏又要继承基类,基类会不会偷偷垫字节?空基类优化把基类吃成了零字节——sizeof(Tss) 还是 104,PerCpu 守住了 24,两条断言立在了新头里,布局与家法就两全了。至于匿名全局加访问函数的旧写法废在哪,留一句实话:实体成了摸不着的暗物质,调用点认得的只有函数。单例的 self() 把脸面和实体放回一处,将来一个核一份的时候,self() 的内部换成按核寻址,而所有调用点一个都不用改。
末了这桩公案,是在模拟器上造内核这门手艺的必修课,咱们往后还要跟 MSR 打很多交道,所以趁现在把它讲明白。当年给 SFMASK——SYSCALL 进门时要清哪些标志位的掩码,也是一格正经的 MSR——写 0x200(把 IF 位列入清除名单),读回的值恒是 0。读回 0 的背后有两种可能:写入没生效,或者读回说了谎。当年是按五步收的网。第一步走的是反汇编写入点,指令序列是干净的。第二步调换几笔 MSR 写入的次序,为的是排除前一笔被后一笔盖掉。第三步的路子是绕开汇编文件,用 C++ 的内联汇编写同一笔,排除链接层的问题。第四步写完了就立即回读,为的是排除时序。第五步是分水岭:反手写一个必非法的值,清一色的全 1,#GP 当场就来了。您品这一步的分量:非法值会炸,说明模拟器认得出暗格、查了合法性。合法值写了不响,说明它把合法的写入静默丢了。再换纯软件模拟的后端跑一遍,结果还是一样。不过一致本身还说明不了什么,咱们得看答数是从哪儿来的:纯软件模拟,笔笔读数都是代码算出来的。KVM 直通虽把绝大多数指令交给了真 CPU,可 rdmsr、wrmsr 这样的敏感指令,直通是罩不住的,一执行就退了出来,回头还是模拟层答的话。依咱们看,两台后端拿到的读数,本来就出自同一套模拟的代码,一致只能说明答数是稳的,光凭一致还定不了咱们代码的罪,对照组得是真正的硬件,而真正的硬件从头到尾不在场。KVM 直通和软件模拟两台后端倒是异口同声:毛病在模拟行为里,咱们的代码没病。结案的口径:这个 MSR 在模拟器上,能验的只有写入不异常,读回是不作数的。带走的是两条教训:测试红了,把模拟器的限制和自己的错分开再动手改代码。一格 MSR 诚不诚实?写个非法值进去试一下就知道了。
缺着的四件,到这儿凑齐了:座位、锅、工具、落脚点。可咱们还不能让客人光着脚来——它得有自己的页表、自己的栈,得有一整个画出来的世界。