同步层的旧债
开头一句实话不太好看:咱们那把转圈的门闩,单核时代立的那把,其实不会跨核。盘点的时候纸面上写的是主体可用、差两份持有记录,真去启用前的一场预审把纸面戳破了。硬伤揪出了两处。第一处的病是重入检查:进门就断言的是锁没被持有,持有便当成了本核重入当场叫停。单核上这个断言拦的确实只有重入。到了双核上,另一颗核名正言顺地持锁,本核名正言顺地争抢,断言看见的是锁被人拿着,劈头就把自己人骂了一顿,争抢还没开始就误判成了自锁。第二处更隐蔽:进门就把中断状态快照写进锁对象自己的成员里。单核上这个成员是它独享的。双核上两颗核一前一后地进门,后到的把早到者存的快照覆盖了,早到者抢到锁出门的时候,还原的却是后来者进门时的中断状态,开与关从此成了随机。修好的形状是这样:
void Spinlock::lock() {
const auto kIrq = cinux::arch::SaveAndDisableIrq();
const auto kCpu = static_cast<int>(arch::per_cpu::PerCpu::self().cpu_id);
cinux::base::safety::Check(owner_cpu_.load(std::memory_order_relaxed) != kCpu,
"spinlock re-entered on one core");
while (held_.test_and_set(std::memory_order_acquire)) {
cinux::arch::CpuRelax();
}
irq_state_ = kIrq;
owner_cpu_.store(kCpu, std::memory_order_relaxed);咱们看修好的形状:快照收进局部变量,那是自己的口袋,抢到锁了才转存进锁对象,转存的那一刻起再没人能覆盖它,因为能写它的只有持锁人。重入检查改认持锁的核号:本核重复进门照旧当场叫,跨核争抢安安静静地转圈等。锁对象上多出的核号一格,出门的时候清回负一,顺便当了持有者的登记。解锁验的仍是持有者本人,别人代放照旧吃到响亮的拒绝。
两份持有记录跟着咱们搬家。持锁的登记簿原来全机一册数深度,现在的记法按核一册,深度存成一格八元素的数组,查自己的一格。锁序图的待遇,无盘起家那一卷立座次的图,也一样:每核一条自己的持有链,谁在谁的手里套着谁,一人一册地记,全机共享的是一张记录谁在谁前的有向边图,边图自己另有一把原始的小锁护着,图是共享的财产,链是各核的私册。轮流当家那一卷立的卡,持着自旋锁的核不许睡,现在查的是本核的深度,两颗核守好自己的岗,谁也不碍谁的事。
引用计数是第三笔要还的旧债,当年吃过的暗亏不小。共享指针用的那个计数类,头注释里写的是:调用方自己串行。到了今天,调用方换成了两颗核,谁也不给谁串行的照顾。裸的加一减一在两颗核上会丢更新:两边同读到同一个旧值,一头把它加了一写回去,另一头也把自己手里的一份加了一写回去,后写的盖掉早写的,一次加法凭空蒸发了,计数一旦错了一次,要么提前析构踩空指针,要么永不析构漏内存。修法是换成原子的加减,顺序咱们选 acquire 配 release 那一档,这一对顺序是轮流当家那一卷立自旋锁时讲过的老相识,拿配获取、放配释放:减到零的那颗核,必须看得见所有曾经持引用的核写下的全部操作,保证这一点的正是拿与放那一对顺序。零与溢出的检查照留,原子化也没换来什么宽恕。考古的一句:当年这病在单核上一直绿着,因为单核的调度时序恰好把交错挡在门外,直到双核真跑起了共享信号处理的负载,计数是到那时才开始丢的。同样的代码在单核上跑再久也是绿的,窗口在单核上你根本踩不进去。宿主的案子里如今有一桩,两个线程各做十万次的加一减一,断言计数的终值分毫不差,咱们头一回敢在自己的机器上写这个数。
第四笔咱们给更底下的层配家伙。base 里新落了一枚极小的原始互斥件。进门的那一拍,咱们用原子指令把旗从零翻成一,翻成了就算拿到。没翻成的退到圈外,咱们只用普通读盯着旗,旗立着咱们就等,旗倒了咱们再上去翻一次。空转的圈里咱们不做原子的交换,省得一遍遍地惊动缓存。拦住编译器乱序的墙只有编译期的信号屏障,处理器层的顺序,由拿与放自身的语义担着。它的系统耦合是零,它不关中断也不沾任务的边,所以住 base 正合适。页分配器和堆挂上了它,堆增长的长事务也挂上。它们是全内核共享最狠的状态,单核时代靠的是关中断撑腰,关中断在双核上只是本核的清静,挡不住对面伸过来的手。挂锁之后关中断的守卫照旧,一个防的是本核的中断,一个防的是对面伸过来的手。
最后的一站是输出。串口和屏幕的输出原来一个字一个字往外蹦,排队的人没有,双核同印出来的字节交织,面板上出现谁也不认识的火星文。更早的工程线上这病还当过路障:日志都读不利索,办案的人连现场都看不清,当年是给输出加了行级锁,才把后面的案子破了。咱们这一次直接整条格式化输出串行,一条消息从头到尾一口气地出完。文本控制台暂吃一把粗的锁保正确,细粒度的锁缓办,写进了案卷。收尾的名单:跨核的持有链案、跨核的锁序环案、真受保护计数案,长凳上全都过了关。同步层的地基到这一章算平了,可锁本身还有一段没人管的生命周期,下一章讲容量断言炸出来的那桩案子。