堆里砌护墙的人
KVM 放行的门一开,头一场开机冒烟就给咱们出了桩案子。musl 静态的 busybox,开机就是连环的段错误,十一号的信号一发接一发,ash 崩了被拉起,拉起来了又崩。
环境摩擦咱们也记一句:KVM 的设备组被系统记岔了名字,机内的实弹压了好几天没跑成,咱们只能干等。理顺的那天,头一场冒烟就把这桩案子端了出来。
musl 是咱们的老客人。开门迎客那一卷咱们把它迎进门,静态的身子跑了那么久,动态的身子也在把后半场交给解释器那一卷跑通了,凭什么地基一翻新,倒的偏偏是它?
办案的头一步是圈人。新近的改动不少,咱们用笨办法,土话叫的是二分,一半一半地往外摘,摘出去的每一半都开机试过。摘到 mmap 的重写,机器就安生了。装了回去,连环的段错误跟着回来。罪是定在 mmap 的重写头上的。
罪是定了,但是离破案还远。mmap 的重写长长一截,埋病根的是哪一句,得让死者自己开口了才算。咱们把断点请出来,落在一个要紧的位置,缺页裁决者的处决点。听得懂喊声那一卷立的章程,用户态来的缺页,裁决者不受理的,惹祸的任务以十一号的身份自己退场,resolve_current_fault 说的就是裁决者本尊。咱们断在它把信号号装进寄存器、要送当前任务退场的那一句前头,停住的那一拍,案情就躺在寄存器里:用户态的读,一页不存在的页,出错地址 0x1309000。
分配器死在一页不存在的页上,可它的营生是发页,页怎么会丢?咱们把断点挪到 mmap 的门口接着记,门口的门面就这一扇,名字叫的是 HandleMmap,来一笔咱们记一笔。开机记下的头一笔,说的就是它:
mmap(0xc49000, 0x1000, PROT_NONE, MAP_FIXED|MAP_PRIVATE|MAP_ANON)这笔单子咱们认得。musl 这一代的分配器叫 mallocng,它有砌墙的习惯,拿 mmap 要一页 PROT_NONE 的映射,读、写、执行这三样是一样都不给的,砌在自己地盘的敏感边上。您要是还记得栈底的守卫页,这堵墙是想的是同一个主意,越界的读写一碰它,当场就段错误了,病是留在墙上的,而不往邻居家蔓延。它的要求挨个读下来:地址 0xc49000,页是对齐的,长度给的是一页,权限要的是 PROT_NONE,旗子里明晃晃竖的是一面 MAP_FIXED,请的是上一章刚立的替换语义里的占址重建。要紧的是那个地址,0xc49000 落在 brk 堆的跨度里。老客人递上来的考题是,在堆的身上占址重建。砌墙的人,说的就是它。
替换语义接了单。拆旧的活顺着上一章开出来的口子,落到登记册的注销上,干活的函数叫 unregister_range。这里咱们得补一句户口的事。懒到家那一卷立册的时候,寻常的段在链上各占一节,唯独 brk 堆是单独立户的,heap_ 的起止两个字段就是它的全部身份,链是不进的。注销头一眼看见护页的跨度与堆重叠,下的就是最粗的一斧,把堆的末尾砍到跨度起点。0xc49000 之上的整段堆尾巴,从册上销了户。musl 手里还捏着尾巴里的指针,悬空了,一读就读在了 0x1309000 这页不存在的页上,裁决者翻了册,这段地址册上已经没有,十一号的身份,退场了。真因落定:护页跨了堆,注销砍了尾,堆尾巴整段失了管。
案子破了,还有当年的一个对照值得记进案卷。当年第一遍的时候,笔者的主线对 MAP_FIXED 是拒的,一律回的是 EINVAL。musl 拿到的是 EINVAL,不吵不闹地静默放弃了这堵墙,堆里少一道当场翻车的保险,它的日子照过,察觉的一个人都没有。老语义是错得安静的,新语义的这一斧,错得倒是响亮。但是响亮不算坏事,老语义底下的墙从来没砌成,病也从来没得到过露头的机会。咱们把 musl 的静默放弃写进案卷当反面教员。
修法咱们照着病理下刀。堆里要打洞的时候,洞以上的尾巴不能再跟着洞一起消失,它升格成一段独立的匿名段,自己进了链,堆本体收缩到了洞口,护页那页是在洞里的,照旧拆了。注销进门管堆的那几行,如今是这样写的:
if (!heap_recorded_ && heap_.start < heap_.end && overlaps_span(heap_, start, end)) {
if (end < heap_.end) {
auto* const kTail = new VmaRegion{};
if (kTail == nullptr) {
return base::KernelError::kOutOfMemory;
}
kTail->start = end;
kTail->end = heap_.end;
kTail->kind = VmaKind::kAnonymous;
kTail->readable = heap_.readable;
kTail->writable = heap_.writable;
kTail->executable = heap_.executable;
regions_.push_back(*kTail);
}
if (start <= heap_.start) {
heap_.end = heap_.start;
} else {
heap_.end = start;
}
}这几行的活,咱们一件件数。洞口 end 还压在堆末之内的时候,尾巴就从 end 到 heap_.end 自己立起了一户,读、写、执行三项权限是照着堆抄的,进了链。随后堆的末尾收缩,跨度要是打堆头盖进来的话,堆就整户清空了。护页那页是在洞里的,照旧拆了。墙两边的堆各归各户,musl 的指针,两头都有了着落。
咱们把这桩案子的缩印写进长凳,test_vma 添的打洞案就是它:
TEST("vma: a hole punched in the heap leaves the tail as its own region") {
cinux::mm::VmaStore store;
store.seed_heap(0x100000, 0x200000);
ASSERT_TRUE(store.move_heap_end(0x108000).ok());
ASSERT_TRUE(store.unregister_range(0x102000, 0x104000).ok());
ASSERT_EQ(store.heap_end(), 0x102000UL);
ASSERT_TRUE(store.find(0x103000) == nullptr);
const cinux::mm::VmaRegion* const kTail = store.find(0x105000);
ASSERT_TRUE(kTail != nullptr);
ASSERT_TRUE(kTail->writable);
ASSERT_EQ(store.region_count(), 1UL);
}堆从 0x100000 长到了 0x108000,洞是开在 0x102000 到 0x104000 的,洞里的 0x103000 查无此段,堆末收到的是 0x102000,洞上的 0x105000 还活着,是自己的一段,写的权限健在。长凳上 test_vma 那件咱们自己跑,二十三案是全过的,机内的 ktest,二十一案也是全过的。实弹咱们再跑一遍,musl 的全链路,静态的 ash 与动态的 hello,一起复了绿。
结案的话,咱们写进册子。MAP_FIXED 的每一个新消费者,都会拿自己真实的调用序列来考替换语义,这回应考的是 libc 里的分配器守卫,考题就一页护页的份量,排在后头的还有装库的 ld.so,它的考卷厚得多。占址重建四个字说的是,拆与立的两头都得想全,链上的段想全了还是不够,堆这类单独立户的特殊段,也得一起想全了才算。
musl 这边的全链路复绿,咱们把案子归档。同一个地基上,悬案还开着一桩新的,glibc 的 hello,一起动就一声不吭地死了。那是下一案的事,比这桩更响的还在后头。