破案:被吞掉的完成通知
这一卷的头一桩大案,咱们得从一条纪律说起:实弹首绿不算过审,要的是复跑,反复地跑。头一回双核实弹确实绿了,咱们存了档,回头复跑的时候,间歇性地停住,崩溃是没有的,只是停了工,画面安静得像下班了。首绿跟复跑打了架,这本身就是案情:窗口型的病踩不踩得着,看的全是时序,跑得越多越藏不住了。
现场咱们按规程采。两颗核都停在睡觉的原语上,当前任务都是空的,队列深度与抢占深度都归了零,持锁的人没有,自旋的人也没有。全员睡的是开着中断的停机,咱们去叫也能叫醒,只是就绪的队列里已经没有活可派。唯一的叶任务,一个普通的进程,阻塞在完成件的等待上,调用链从上往下念:完成件的等待,盘驱动的读块,块设备的值班队列,文件系统的路径解析。其余的任务全在等孩子退场,连僵尸的影子都没有。之前咱们怀疑过管道读到了文件尾,这一手现场直接把那个猜测否了:等的是盘,不是什么管道。
咱们再看设备这一头,回读的寄存器一字不差:命令槽空了,端口状态清了,全局状态清了,任务文件寄存器是盘那头报自身状态的一小组寄存器,咱们读出的正是设备空闲的标准值。设备侧的世界一切干净利落。可完成件的状态还是未决,等待者还原封不动地挂在链上。咱们拿两边一对,案情就窄了:中断确确实实来过,不然设备的状态不会自己清干净,而完成的通知没有发出去,或者说发出去的那一次,没有任何人把它当作发过的一次。
机制咱们慢慢看。盘驱动的中断服务,从前的次序是两步:头一步唤醒等待者,完成件这么一放,睡在另一颗核上的读进程立刻醒,接着干自己的活。然后再清设备的状态,写一笔把端口与全局的状态位都清掉。病就住在这两步的次序里。等待者醒在了另一颗核上,手脚飞快地开工。它把完成件复位回了未决,又布置了下一条命令,然后把命令发了出去,新命令的完成位亮起。而这颗核的服务例程才走到第二步,把状态位照单全清了,清掉的那串名字里,就有新命令的完成位刚刚亮起。新命令确实完成了,完成的通知却被旧例程的尾巴当垃圾扫走了。修好的次序是这样。片段从清状态的那一拍起抄,成败的判定在这一拍之前就算清了:服务例程进门头一笔读端口状态寄存器,咱们把读数当成一份事件快照留着,片段里的 kEvents 就是它,取判定取的也是它。
port.interrupt_status = (kEvents & kWatched).raw;
regs_->interrupt_status =
cinux::base::bit::MaskBit<uint32_t>(static_cast<unsigned char>(port_index_)).raw;
[[maybe_unused]] const AhciReg kEcho{regs_->interrupt_status};
if (kFailed || kSucceeded) {
completion_.finish(!kFailed);
}头一拍取的是判定,成败在这一拍已经算清了。再清设备的状态,清完了回读一次,确认真清了,这一拍是少不得的,回读是给设备的承诺落了地。唤醒放在了最后。新的次序下,等待者醒来去布置新命令的时候,旧例程的手已经从设备上收回来了,新完成位亮了起来之后,再没有人会碰它了。有人会这么问,加个轮询的兜底岂不省事,等了那么一会儿,没等到的就再查一遍。咱们不加:兜底会把病盖住,复跑是不再停了,病根还是原来的病根,它在等下一次的时序。所以不加轮询,不删完成件的检查,只把次序摆回了正位,病根才是真的没了。
同一场风暴里还连着修了一批独立的缺陷,个个都是双核才肯现形的,咱们挨个说。退出的任务从前攥着文件表进僵尸态,写端的人死了,僵尸还替他攥着管道的写端,读端能做的只有干等,文件尾是永远等不来的,改成退场把自家手上的文件放干净,再去当了僵尸。
管道的文件尾本身还有一笔接力债:两个读者都睡了,最后的写者只发一声,头一个醒的拿走了文件尾,第二个还睡它的觉,改成醒来的一个发现自己拿到的是等来的文件尾,就把手里的接力棒递给下一位,两位都读到零才算清了场。独立实核这一案:两颗核都入了场,名册上确认两位读者都阻塞了才关写端,末了两位都读到零、都退场。
写时复制咱们补了一把真锁:标记共享、缺页复制、释放旧页,全链用的同一把,不然旧页的引用减在前面、另一核把共享页改回可写,复制出来的就成了污染品,克隆完若本核脚上还踩着父辈的页表根,重装一遍的活免不了。
回收查找咱们不再把裸的任务指针递出锁外,改成了锁内办事,免得查到手的瞬间对面核已把它收走。块设备测试的三位工人,从前是单核上的协作轮换,空顶着双核的参数,改成真屏障:每颗核报上自己的核号,凑齐了才放行,报号到放行的全程本核关中断,不然刚记完号人就给迁走了,凑数的永远差一位。
考古的一笔收尾。当年写时复制也吃过双核的亏,病在另一个器官:父进程的页改成只读之后没有冲 TLB。TLB 是翻译后备缓冲器的缩写,处理器里页号到物理页的速查表,单核上是稳的,因为每次的任务轮换都换页表根,顺带把速查表冲了,双核上另一颗核的速查表里还留着可写的旧翻译,写穿了旧翻译,共享页被污染了。当年修的是全局冲刷,一发指令就把全核的牌洗了,之所以够用,是因为当年的 fork 全程关着中断,任务挪不了窝。这一遍咱们的系统调用路上不全程关中断,前提变了,所以换了真锁的修法,而跨核的远端冲刷,那个真正的完备解,咱们如实登记为欠债,挂在了验收那一章的明处。
两桩案子的红色记录咱们都存了档,旧病回头咱们有卷宗可翻。这一案收了,复跑还是偶发地读错目录、报用户段错误,敲门的是第二桩大案,下一章见一把太勤快的扫帚。