炉子通了风:块缓存与测出来的数
上一章撂下的那句慢,这一章咱们动手还。834.685 秒的那个数,是咱们守着串口一口一口等回来的,量的是基线轮里跑完的那一段,那一轮是没能跑到头的。可越看咱们越不是滋味。一场编译翻来覆去读的,明明就是咱们天天打交道的那几样:工具链的身子、头文件、目录块。哪一样第二回不该从内存里直接拿?
嫌疑落定的速度快得很,垫在 ext2 和盘队列中间的那块块缓存。您跟它是老熟人了。它头一回上的工是在认字那一卷,当年的它是八个槽、一槽一 KiB、写穿的。懒到家那一卷的《缓存长到页》那一章给它动过手术,槽给它养到了四 KiB,写也懒成了脏页。可槽的数目,从立身那天起就没动过了:八个、三十二 KiB。三十二 KiB 的家底,连 cc1 的零头都盛不下,人家一个就顶着四十七 MB 上下的块头。客人的前脚刚坐下,后脚就被请出去腾了地方,下一回来的时候,又得排一趟队列、发一道盘命令的。整场编译排下来的上百个单元,这样的冤枉路要走多少回,咱们心里都有数。
动手之前咱们还做了一趟只读的分析,一行代码都没动的,只让 QEMU 替咱们采样。这一趟跑了下来,采样摆出两个数:累计的 rchar 是 13.6GB、真落到盘上的 read_bytes 只有 54MB。差出来的这一大截,是同一批东西被翻来覆去地读。
这一遍咱们给它动三处:饭量、查法、逐出。头一处动的是饭量。文件世界起身的头一件事,就是顺手把新家底算了出来:
const auto kAvailable = mm::Pmm::self().free_page_count() * arch::page::kSize;
const auto kBudget =
base::math::Min(kAvailable / driver::kBlockCacheMemoryDivisor, driver::kBlockCacheMaxBytes);
const auto kSlotBytes = driver::kCachePageSectors * driver::kSectorBytes;
cache_ = new driver::BlockCache(*queue_, kBudget / kSlotBytes);头一行咱们就看得懂:空闲页数乘上页大小,得的就是当下真正空着的字节。咱们把它除以三十二、再跟 64 MiB 比一比,取的是两者里小的那个,折槽数按的是一槽 4 KiB,交给缓存的也是这个数。两个定数的家在 block_config.hpp 里,除数 kBlockCacheMemoryDivisor 认的是 32,上界 kBlockCacheMaxBytes 认的是 64 MiB。家底是随机器长的,内存大的多分,内存小的少分,顶到 64 MiB 就打住了。花名册开机就立好了,可每一槽的数据页,等头一回真被用上的时候,才从堆里领的,册子本身那点地方,紧巴的机器也出得起。
第二处动的是查法。八个槽的时代咱们挨个数,数八个就完了,不过是您多按八下的工夫。如今一开口就是上千槽的规模,咱们每回问页都得把全册扫一遍,这个便宜占不起了。册子就改成了哈希链:
unsigned long BlockCache::find_slot(unsigned long page) const {
for (unsigned long index = buckets_[page % bucket_count_]; index != ~0UL;
index = slots_[index].next_hash) {
if (slots_[index].page == page) {
return index;
}
}
return ~0UL;
}页号对桶数取了余,页就落进了自己的一只桶,桶里串着的正是一条链,咱们顺着链摸下去,几步就摸到了。桶数在构造里就立好了,槽数的两倍加一,桶是比槽多的,一条链平均摊到的还不到一个槽。省下来的,是每回问页的那趟全册扫描。
第三处动的是逐出。老的办法是轮换:指针 next_ 一格一格地走,停到谁算谁的,谁最近被摸过是一概不问的。新的走法是有名字的:CLOCK、二次机会。这几行里立的就是针,咱们跟着它转一圈:
unsigned long BlockCache::choose_victim() {
for (;;) {
const unsigned long kIndex = next_;
next_ = (next_ + 1) % slot_total_;
Slot& candidate = slots_[kIndex];
if (!candidate.live || !candidate.referenced) {
return kIndex;
}
candidate.referenced = false;
}
}next_ 演的就是针,咱们看它一格一格地往前挪。针停下来的时候,咱们就看两样,有字没字的,还有它身上有没有人摸过的痕迹。空槽是直接征用的。活槽要是 referenced 立着的话,针倒是放它一马,把标记摘了接着走,等针转完一圈回来的时候,这中间没人再摸它的话,标记是躺着的,它就轮上了。摸过的标记就是这么立的,摸中的那一拍,claim_slot 里就把 referenced 置了起来。于是被摸的热页总有人在,在针底下也总归是活得下来的。冷页就反过来了:转一圈没人理,自然就让了位。全局管事的就是一根针,全部的槽归它转,逐出的全部家当拢共一位标记,时间戳都省了。
失败的两条纪律,咱们一条一条守着。头一条是咱们念过的旧话,是从《缓存长到页》里来的,写回被拒的脏页咱们让它原地保留,索引也就不动了,槽还是脏的,等的是下一趟逐出或者 flush 重试。另一条管的是填充,盘拒绝把页读上来的时候,填不上的槽干脆不出列、不进索引、不标活。咱们谁也别想从它那儿拿到一个字,下一回有客上门的时候,换一格重填就是了。咱们宁可让请求失败,也不拿没见过盘的字冒充数据。
长凳的四面,咱们挨着面点。头一面考的是热读:24 页的工作集、32 槽,头一遍读盘读了 24 次,第二遍原样再走了一回,发出去的盘命令是零条。第二面考的是碰撞:3 槽的小缓存,挑的页号是 0、7、14,桶数配的是 7,三页取余全落的是同一条链,链是一根都没乱的,而且 7 号页后来又被人摸过一回,再问它的时候,盘就纹丝不动了。第三面考的是淘汰,就是同一案的后半段,0 号页一圈没人理的,被请了出去,再问它的时候,盘就多读了一次。二次机会保的是刚用过的页,踢的是真冷的页,一保一踢的分寸,都收在这一案里了。第四面考的是 I/O 失败:让盘把写拒收了,脏页原地留的是脏,字照样是答得出的,盘缓了过来,flush 补上了,让盘把读也拒收了,填不上的页不发布,恢复之后就重填了,该在的字节一个都没有少。机内另添了一桩,一个槽坐了三个读者,各拿各的副本,填页睡在半路的时候也不串字。
三处都改完了,量的章程咱们得立明白。条件是同一套的:构建用 Debug 的、-g 加 -O2,内存拨的是 512 MiB,vCPU 给的是 2 颗,构建树与 QEMU 都是串行的。口径也只有一副的:数的是编译命令的墙钟,从命令敲下去到它收工为止的那一段,里头的装载、编译、链接咱们全算在内,当然不单拎哪一段。这一卷里凡是报秒数的地方,说的都是这副口径,装载的耗时是另一副尺子,咱们从不混着量。
缓存上了机,头一轮跑的是全量,187 个常规编译单元全过了。两轮对出来的数,咱们原样记下。两边共同完成的编译单元,咱们数出来是 138 个,墙钟从 834.685 秒降到了 281.288 秒,快了 2.967 倍,少了 66.3%。
有一句边界咱们必须原样带上。旧基线是没能跑完全场的,到第 139 个编译单元的时候,目录满了,就停在了那儿。所以整场构建的耗时,咱们不拿来同比,快的数只对那 138 个作数,替整场发言的话,咱们一个字也不说。您要是想把 281.288 秒跟 834.685 秒摆在一起看,当然可以,只是边界那句您得一直带着。
全过的是编译,链接那一环又响了一声。真实的链接器一开工,一口气开门的件数,坐满了文件表的六十四座,报错交了上来,这一卷最后一件大的修复,就让这一声亲手逼了出来:文件表换骨架。这表从无盘起家那一卷立册起就是定长的,六十四这个数的来历,还是这一卷前面迎 C++ 家当上桌的那一章放宽出来的。咱们给它换了骨架:
constexpr unsigned long kChunkSlots = sizeof(base::bit::WordMask) * 8;
struct FileTable::Chunk {
Chunk() { cloexec.init(&word, kChunkSlots); }
base::container::SlotTable<base::Shared<OpenFile>, kChunkSlots> slots;
base::bit::WordMask word;
base::bit::Bitmap cloexec;
};每块按一个位图字的宽度装座,用到哪块长的就是哪块。逻辑上界学的是 Linux 默认的 nr_open,写明的是一百零四万八千五百七十六,可存储是按需生长的,没人开门的时候一块都不多占。用户态来领号的时候,守的是它自己的 RLIMIT_NOFILE,超了答 EMFILE。表是住在堆上的,内核栈上不摆按上界大小的临时数组。长凳上咱们再点一遍,动态生长碰上降限额的时候,高座的旧客照旧活着。稀疏的高座跨 clone 与 close-on-exec 各管各。后端释放走的是锁外,重进表也是不打架的。
表换好了,咱们看着全量从头跑到尾。188 次编译跑了下来,把生成 kallsyms 的那一次也算在内,链接也走了两轮,封出 590656 字节的内核,墙钟记的是 369.811 秒。
炉子通了风,这一轮却止步在量得出收益的改动上。没做的有五件,咱们照实记在案,一件都没做的,一件也不冒领的。几个进程读同一个文件的时候,内存里各存各的页,共享的一份没有立。目录项与 inode 的缓存没有立。一次搬一大段的 read/write 没有。vfork 的路没另铺。构建还是串行的。五件各归各的,留作后续的独立测量,它们任何一件的快慢,这一轮的数都代言不了。当年那一遍在同一段路上还动过 ext2 读的聚合,一笔盘命令捎回更多的字节,省了两成五,那笔旧话《缓存长到页》收尾时念过了,口径是当年的,这一遍咱们不扩那个界。
数测完了,咱们就差最后一击,让造出来的内核自己开机。