每颗核一份的家当
中断的路修好了,该轮到给第二颗核备家当了。什么叫家当,你看咱们眼下单核的家底,有几样东西是它一个人的:GS 指着的那块小抽屉,里面存着系统调用入口要用的栈指针和交接帧。长模式里段的基址大多写死成零,段这件事退化得只剩下了几块门牌,咱们看全局描述符表 GDT,名义上管的是段,实际还在管的就是任务段的门牌。任务状态段 TSS 管的是中断从用户态砸下来时内核栈从哪接。还有调度器里的当前任务指针。这四样第二颗核偏偏一样也不能跟头一颗核共用,共用就是两颗核互相翻对方的抽屉。
头一件咱们让抽屉长成数组。原来全机共用的一块静态结构,如今扩成页对齐的八块,显式地落在数据段,号住零号到七号的座位。装 GS 的函数收一个核号,把两枚 GS 基址的寄存器都指到那一块上,两枚指的是内核用的基址与影子基址,同一副身家那一卷立双基址时的老相识。认主的函数就是这一章最精神的一笔:它谁也不问,直接读自己的 GS 基址寄存器,读出来是哪块的地址,自己就是哪块的主人。指针即身份的好处,是省了查表与传参,汇编里也是这么用的。头注释里那句从这块小抽屉诞生那天就留着的话,多核来了每核一块、认主函数学会把手递给主人,这一章兑现了。四格老槽的编址一字不动,系统调用的汇编还按老地址摸东西,新增的字段排在后面。老槽每格占的是八字节,咱们数一数,四格正好铺满了头三十二个字节,当前任务排在新字段的头一个,落在从块首数起的第三十二个字节上,静态断言守住的就是新字段的偏移,汇编与 C++ 谁也不许有半个字节的漂移。宿主那边对等的实现是一份线程本地的存储,世界的选择交给链接期,同一份源码两个世界各穿各的衣裳。
第二件要办的事是当前任务搬家,这一件咱们吃过亏,所以测试打头。当年工程线上统一了指针、后补的测试,统一那一刻测试内核当场挂死:旧指针是调度器自己存的当前任务,新指针是每核抽屉里新添的格子,当年那桩测试偏偏靠两份指针合不上拍活着,分歧消掉的一瞬,判定翻了面,空队列上的调度一去不回。教训记成了两步走:测试的护栏立好,咱们再动指针。护栏是一件穿在身上的守卫,守卫在身的时候,阻塞只把状态标了,不真的切栈,宿主的测试世界踩在自己的长凳上,拆什么也不能拆长凳。配一桩明确的状态机案,把守卫内外的行为分头断言。护栏立稳了,才删调度器里的旧成员,读写全数改到每核块的抽屉里。搬家之后还要补一道守卫:读 GS 基址到解引用的那一小段,理论上是个可抢占的点,读的瞬间人还在零号块,用的瞬间人可能已被切走,门口加一层中断的守卫压平。
第三件咱们把 GDT 和 TSS 数组化,数组本身是顺手的,要害在装表那一步的次序。八张表配的是八段 TSS,谁的家当谁自己装,设内核栈的那组调用点一行不用改,因为任务段的门面走的是本核。次序上的要害是:装表的代码从此只重载代码段与数据段选择子,FS 和 GS 的选择子一下都不碰。为什么这一点要立成纪律,得讲当年的案子。
当年第二颗核第一次跑用户任务就炸出一个确定的通用保护异常,错误码报的是七十一,寄存器 RAX 里躺着的值是 0xF000FF53F000FF53,一份典型 BIOS 远指针的形状。更糟的是异常处理里又炸了一次,现场叠了一层现场,把头一手现场搅成了一锅粥,办案人起初怀疑的是 GS 损坏,方向错了。真凶藏在装表的例行公事里:当年的装表函数在 lgdt 之后,顺手用平坦数据段的选择子把 GS 段寄存器重载了一遍。同一条指令在保护模式的年代人畜无害,可长模式里 FS 与 GS 的基址已经搬进模式寄存器住,一旦用选择子重载了段寄存器,处理器就会把描述符里的零基址写进那个模式寄存器。刚写好的 GS 基址就这么被一条好心指令抹了零。而启动次序偏偏是装 GS 在前、装表在后,装的次序正好遇上抹零的指令,病就发了。头一颗核倒是没炸,就因为它把表装早了、GS 装晚了,次序恰好倒着躲过去了。两颗核跑的是同一个函数,炸的是一颗,没炸的是另一颗,差别的全部就在装表与装 GS 谁前谁后上。这案子还留了两条通用的教训。病名是一条:访问非规范地址报的是通用保护异常,不是什么缺页,通例的错误码是零,本案报的七十一是又一层迷魂阵,认错了病名就找错了器官。现场是另一条:处理异常的路径里再触发异常,后来的现场会吃掉头一手现场,诊断的输出要经得起在烂现场里跑。这一遍咱们双保险:装表代码物理上删掉了对 FS 与 GS 的触碰,免疫这一类的病,另外专门写了桩实测,故意给 FS 的基址写个非零值,再重载了 GDT 和任务寄存器,断言 FS 与 GS 的基址纹丝不动。
笔者这里还有一件福气要交代。当年为多核最疼的一块骨头是 swapgs 的纪律:用户态中断进来,GS 得换内核的家,出去的时候再换回去,漏了一处,内核代码就踩在用户的 GS 上解引用。咱们这一遍没疼这块,因为同一副身家那一卷立双基址的时候,把这件事顺手做对了:活的 GS 永远指着每核块,从内核态到用户态的整条路一次也不换,任务自己的 GS 值住在影子寄存器里由切换器搬。
这一章落完了,加一颗核的参数开机器,全链还是绿的,单核的世界一行没伤。第二颗核的家当在数组里空着等它,可它还在实模式的黑夜里睡着。下一章咱们造叫醒它的那一页。