谁还握着这块栈
咱们把切换这件事在双核的世界里重新想一遍。轮流当家那一卷立的切换器,它的形状是一对参数,存的是旧任务的寄存器影像,取的是新任务的寄存器影像,存完取完末了靠一条跳转交接。单核上它的形状无懈可击,因为全机同一时刻发生的切换只有一个。双核上它藏着一个窗口:切换器把旧任务的寄存器存进影像,存完之后留了一条返回,可它严格讲只是一次栈帧的暂停,要等这颗核什么时候再切回这个任务,恢复走完了,这一趟的保存才算真正完成。可偏偏就在这中间,任务还挂在就绪队列的名册上,另一颗核完全可以把它挑了去,对同一份影像做了一遍恢复。一头还在写自己的,另一头已经在读了,写的那半是通用寄存器加浮点影像,读的那头恢复出去的就是半新半旧的一个人。队列是有锁的,挑选会做的是把它移出队列,同一任务两核同时跑这样的场面,是挡得住的。挡不住的是迁移:从移出队列到保存完毕之间,它既是队列外的活人,又是旧核手里没放稳的行李。
纪律是用任务身上的一格数立的,格子里记的是谁还握着这块栈。负一的意思是行李放稳了,取的资格谁都有。某个核号的意思是正被那颗核握着,或是在恢复的途中。三个位置的职责各不相同。挑选的位置:扫就绪队列时跳过别核还握着的任务,本核自己握着的照取,取自己手里的东西不构成窗口。切入的位置:真切换器在动手之前,把要进来的任务标上自己的核号,认领的事在前,恢复的事在后,别核从认领的那一刻起再也取不走它。放稳的位置最精,咱们把那几行汇编摆出来看:
fxsave64 64(%rdi)
testq %rdx, %rdx
jz .Lsaved
movl $-1, (%rdx)
.Lsaved:浮点影像存完了之后、恢复下一份寄存器之前,咱们让汇编往第三个参数指着的格子写负一。为什么非得写在汇编里,C++ 里写在调用之后不行吗,不行的,而且不行得很有道理:切换器的返回,是被切回的那一刻才发生的,写在调用之后的任何一行代码,都排在那次切回的后面,等它执行的时候,窗口已经开了一整个调度周期。只有跳进新栈之前的那几条指令,还跑在旧核、旧任务的语境里,放稳的动作必须在那里做完。第三个参数直指的是格子本身,不经过任务结构的偏移,切换器对任务的内部布局一无所知,这层不知道是故意的。
放稳的格子还牵着一个咱们要交代的问题:任务退场要还页,还页前必须确认没有任何核还握着它的栈。收尸的路径会自旋等格子归负一,可等的位置有讲究:持着队列锁干等是死罪,等的就是别核,别核处理完保存要抢的正是这把锁。所以孤儿任务,父辈走在了前头、辈分上没人认领的僵尸,保存未完的暂不收,挂进了一张孤魂册,咱们每次调度点回头扫一遍,谁的格子归了负一谁下车,不占什么锁,也不干等什么,只是晚了一两拍。每核自己脚下待收的暂存位同理,一样是自成的一格,自家门口的雪,咱们让各家自己扫。
考古的案子在这里,咱们给它整段篇幅,因为它是海森 bug 的教科书。当年共享队列上线后的长跑一路通过,绿色日志攒了几百条,直到一次例行的重构,把一段启动用户任务的代码抽成了函数,参数变了一处,时序跟着变了,到了 -smp 2,panic 一准就来了。抽函数这一类事怎么会在功能上闯祸,功能上它其实不闯祸,闯的祸全在时序上:代码本来内联在调用点,几个写操作挤在了同一拍里,竞态的窗口窄得几乎踩不进去,抽出去之后指令排布变了,窗口敞开了,落了个每跑必炸。诊断那一下也漂亮:打印两边各自握着的任务指针与核号,把事实抓了个正着,同一份寄存器的影像,一颗核还在做它的保存,另一颗的恢复已经开始。修法就是这一章立的这套格子,修完之后的连续三轮满负载长跑,没出过什么 panic。这案子留下两句要紧的话。第一句:长跑通过证明的只是窗口窄,别的什么也没证明,时序一变它就翻了脸。第二句:海森 bug 的正确解法不去挤时序,它把窗口本身取消掉了,用状态字表达谁握着什么,让任何的时序都无窗可踩。
验收两头堵:两个调度类各自的挑选路径都断言,别核握着的任务跳过,放稳了之后才可取。真任务的活体案断言更硬:每个任务跑起来第一件事,对表自己身上的核号与实际所在核,一路让位一路地对,对不上的时候当场红。栈的归属立了法,可睡眠还有一笔旧的口径没对齐,下一章咱们把睡与醒全查一遍。