armv7 的 glibc、busybox、画面与桌面车站
状态:盘上程序能接力 exec 到静态链接的 glibc 程序,程序用 malloc、printf、 open/read 跑完,再 exec 到静态链接的 busybox,busybox 的 echo 打出 armv7 busybox ok 后退出 0(2026-11-14 夜)。这份记这一站怎么搭起来的、路上修掉 的几个真问题、以及现在还缺什么。
现在的样子
开机 → 客人程序走完自检 → exec /disk/prog(盘上 freestanding 程序)→ 它 自己再 exec /disk/glibc(静态链接的 glibc 程序)→ 该程序打印两行、退出 0。
判定字面量两条:
[glibc] hello from ext2, real libc ran[glibc] malloc, printf, open all ok
产物是可选件:没有交叉工具链的机器上不铸 /glibc,判定字面量也不加, 车道保持绿色。
工具链
scripts/build-armv7-glibc-prog.sh,按这个顺序找编译器:
CINUX_ARM_CROSS指向的arm-*-linux-gnueabihf-gcc- PATH 上的
arm-none-linux-gnueabihf-gcc或arm-linux-gnueabihf-gcc ~/.local/opt/arm-cross/usr/bin/arm-linux-gnueabihf-gcc(Debian/Ubuntu 的交叉包解包出来的树,binutils 自带的库在usr/lib/x86_64-linux-gnu)
编译参数:-mcpu=cortex-a7 -marm -mfpu=neon-vfpv4 -mfloat-abi=hard -static -no-pie -fno-pie -Wl,-Ttext-segment=0x40010000。最后那个 -Ttext-segment 不是随手写的:armv7 的用户窗口从 0x40000000 起,glibc 默认链在 0x10000, 落在内核 identity 映射里,装载器没法在上面建页表。
路上修掉的真问题
取指中止的 lr 少减一个常数。 _vec3 存的是硬件给的 lr,那是故障地址 加四。缺页补好之后从 pc+4 恢复,函数头被整条跳过,寄存器留着上一个调用 者的值。glibc 静态启动时那次“目的地址是代码页、长度是地址”的 memset 就是 这么来的——反汇编怎么对都对不上号,因为执行的根本不是那里。
座的缓存世界会过期。 SeatRepairPage 原来用座启动时缓存的 space 与 vmas。exec 一换这两个世界,指针就指向旧的,新程序第一条指令的缺页找不到 自己的段。改成每次故障从当前任务现取。
IFSR 没有写标记。 取指故障的状态字第 11 位不是 DFSR 的那个写位,照 DSFR 解码会把每次取指都读成写故障,于是只读代码页拒绝补页。
用户窗口先是 1MiB,后来越界。 起初 IsUserSlot 只认 0x40000000>>20 这一个槽,brk 一过 0x40080000 就撞墙。现在窗口是 [0x40000000, 0x80000000):程序与 brk 在低处,mmap 在中间,入口栈在窗口 顶,kUserTop 正好落在内核 identity 映射脚下。中途划到 0x90000000 试过, 那条线把内核自己的 0x80000000 代码也划进用户槽,切根就把内核清了。
libc 起步缺的三道门。 set_tls(ARM 私有号 0x0F0005,替 EL0 写 TPIDRURO,EL0 只能读)、set_tid_address、set_robust_list 与 rseq。 另外 AT_RANDOM 不能缺席:硬件取不到时退回种子池,否则 glibc 拿着空的 _dl_random 去解引用。
iovec 的宽度归 ABI。 中立 HandleWritev 原来按 x86 的 16 字节项读, arm 的项是 8 字节,第一次 writev 吐出来的是二进制里的字符串表。现在两套 abi.hpp 各自报出向量字节数与字段位置。
openat。 现代 glibc 的 open 走 322 号 openat,dirfd 是 AT_FDCWD(-100)。 适配器把它折到中立的 open 面;注意那个哨兵是 32 位字,零扩展成 64 位之后 直接和 -100 比会失败。
mprotect 的中立化。 中立处理器原来直接用 x86 的条目位。现在两边各自 提供同一组概念:是否映射、是否大页、叶子指向哪一帧、共享与否。x86 用条目 里的 COW 位说共享,armv7 用帧引用计数说共享。顺带修掉 arm 的只读位: UserLeafTerms(writable=false) 以前不写只读位,叶子照样可写。
退出路径的根。 清 clear_child_tid 那个字时,退出路径可能已经停在根 上,用户名址在根下没有意义。用户内存门现在在拷贝前借出任务自己的页表,拷 完换回来(记录进来时的根,不要硬编码根)。
busybox 这一站
scripts/build-armv7-busybox.sh 用同一份 busybox 源码与配置交叉编译, 在 .config 里把 CONFIG_EXTRA_LDFLAGS 定成 -no-pie -Wl,-Ttext-segment=0x40010000:默认的 0x10000 落在内核恒等映射 里,装载器没地方放它。strip 要用交叉工具链那一份,宿主的 strip 读不懂 ARM 对象。
产物在 build/armv7-busybox/busybox,镜像脚本发现它就铸成 /bb;判定字面 量 armv7 busybox ok 只在产物存在时加入。调用约定按 busybox 的规矩: argv[0] 得是 busybox,applet 名放 argv[1]。
元数据这一面
ls、stat 这类 applet 撞上的是一整条元数据街,这一版补齐了三处:
- statx(397):记录是跨架构固定的 256 字节,所以写成一份中立实现, 两边共用。
AT_EMPTY_PATH(flags里的 0x1000,第三个参数)表示 “看这个描述符自己”,是 libc 把 fstat 折到 statx 的用法;空路径要在 折叠之前判掉,因为路径折叠把空串当非法路径拒绝。 - fstatat64(327)/ fcntl64(221):EABI 的拼法各有各的号,接到中立面 即可。
- stat 记录按 ABI 写:
arch::abi::kStatLayout描述字段偏移与宽度, x86-64 是 144 字节八字节字段,EABI 是 96 字节混合宽度(64 位 size 在 第 44 字节,未对齐)。中立层按布局逐字段写,客人自检里的 stat 结构也 跟着改成了 EABI 那份,并且要packed,否则编译器会把 size 对齐到 48。
现在的终幕是盘上 glibc 程序 exec busybox stat /disk/prog,判定字面量 File: /disk/prog。
画面这一面
LCDIF 在 bring-up 时就往自己的帧里画了一张测试卡:绿色场加一条十六行的高亮条, 外加一个标记字 0xABCD1234 放在第 200 行第 5 列。QEMU 抓下来的画面(screendump) 里能看到它——蓝条加绿场,左下那个孤零零的红点就是标记:
盘上的 glibc 程序接着走用户侧:open("/dev/fb0")、mmap 307200 字节(75 个 4 KiB 页),先读第 200 行第 5 列——读到 ABCD1234,说明这个映射就是面板本身的 内存,不是私有副本;然后整屏填色、再读回自己写的值。判定字面量 [glibc] fb seed ABCD1234。
帧的归属跟着修正了一处:面板的帧属于硬件,不属于分配器。x86 的 ReleaseFrame 早就有 IsHardwarePage 这一道,armv7 原来没有,于是同一帧被 映射两次时拆卸会还两次、触发 PMM 双重释放。
桌面这一站
同一份 third_party/vesper 交叉编译到了 armv7,两个车道跑一个桌面而不是两个。
工具链是 Ubuntu 的 armhf GCC 14 交叉包,解包在 ~/.local/opt/arm-cross14:桌面源码 用了 C++23 的 <print>,GCC 14 才有。cmake/toolchains/armv7-linux-gnueabihf.cmake 把编译器、sysroot 与 EABI 参数一起交给 CMake,scripts/build-armv7-vesper-desk.sh 出一份 1.7MB 的静态 ELF,链在用户窗口内。
跑起来这一路修了两处 ABI 错位,都是“x86 形状搬到 32 位”的老毛病:
fb_fix_screeninfo里unsigned long在两边宽度不同:x86-64 八十字节、EABI 六十四字节。中立 ioctl 原来按 x86 的八十字节回写,把调用者紧挨着的记录抹了 十六字节——桌面的vinfo前三个字被清零,于是它看到 0x0 的屏。 现在arch::abi::kFbFixLayout描述字段位置,span 宽度也按它取。- 面板从 320x240 改成 640x480:桌面要求至少 640x480。
跑起来的样子:
vesper-fbdev: fb 640x480 (frame 640x480), kbd /dev/event0, pointer /dev/event1
vesper-fbdev: cannot spawn /bin/sh under a pty: Function not implemented第二行是还缺的那块:桌面自带的终端要 posix_openpt/posix_spawn 那一族。
演示模式:CINUX_ARM_PROBE_DESK=1 ./scripts/build-armv7-glibc-prog.sh 让盘上的 glibc 程序最后 exec 桌面而不是 busybox;默认构建仍走可判定的那条链。
画面确实画上去了
先前几次 screendump 只看到内核测试卡,一度怀疑用户态的写入没落到面板。真相在串口 重定向:-serial file: 时输入不再是 UART 的通道,客人卡在读一行上,根本没画到那 一步。改回 -serial stdio 并把输出 tee 到文件,画面就出来了——整屏 0x102030 加两 个证明像素:
QEMU 的 LCDIF 每帧重读内存,不需要任何重新触发,所以内核侧不用加刷新钩子。
桌面画出来的第一帧
演示模式起 vesper,它开出 640x480 的面板、键盘、指针,然后画出自己的面板栏(底部 那条黑条纹),随即因为“起不了终端”退出:
桌面完整跑起来了
挡在终端子进程前面的是 clone(EABI 120):glibc 的 fork() 不是老的 fork 系统调用,而是 clone(SIGCHLD|CLONE_CHILD_SETTID|CLONE_CHILD_CLEARTID, 0, 0, 0, tls)。 这道门现在接住了“fork 形状”的 clone:低字节有信号位、没有 CLONE_VM、没有栈; 共享地址空间的线程形状明确拒绝,不半服务。
接上之后桌面进入自己的循环:
vesper-fbdev: fb 640x480 (frame 640x480), kbd /dev/event0, pointer /dev/event1
vesper-fbdev: running; /init's timeout or Ctrl-C ends the run屏幕上于是有了一整个桌面——奶白底、两个图标(WELCOME 与 TERMINAL)、底部面板栏 左边写着 VESPER 右边写着 MONO 1,左上角是鼠标指针:
复跑:scripts/check-armv7-desk.sh。它单独铸一张桌面镜像、跑一次、按串口日志判 三条字面量(面板开了、键盘坐上了、进循环了)。默认的 check-armv7.sh 仍走可判定 的 busybox 链,两者互不影响。
终端子进程走到哪一步
桌面起 shell 的路是这样:forkpty → clone → setsid → dup2 → execve。 这一串补齐了下面这些号,子进程才真的起来:
| 号 | 名字 | 接法 |
|---|---|---|
| 37 | kill | 中立 kill 面 |
| 63 | dup2 | 中立 dup2 面 |
| 65 | getpgrp | 中立进程组面 |
| 66 | setsid | 中立进程组面 |
| 120 | clone | 只接 fork 形状(无 CLONE_VM、无栈) |
| 168 / 336 | poll / ppoll | 中立 poll 面,带 pipe 与 eventfd 后端 |
| 263 / 403 | clock_gettime / clock_gettime64 | 32 位 timespec 的适配器与 64 位中立面 |
| 57 / 132 / 147 | setpgid / getpgid / getsid | 中立进程组面 |
另外,客人根里没有 /bin,而桌面按 POSIX 习惯起 /bin/sh:盘上的 busybox 现在 在挂载后抄一份到内存根的 /bin/sh(1.5MB),于是一个程序期望的位置上真的有 shell。
信号记录也按 ABI 描述了:arch::abi::kSigActionLayout 说清 handler、flags、 restorer、mask 各在哪个偏移、多宽。EABI 的 struct sigaction 是 20 字节、mask 在 第 12 字节;x86-64 的是 32 字节、mask 在第 24 字节。中立面按这份描述逐字段读写, rt_sigaction(174)、rt_sigprocmask(175)、rt_sigreturn(173) 一起接上。
同一批还接了 shell 首屏要的 uname(122)、getcwd(183) 与四个 32 位身份号 (199/200/213/214)。
线程指针必须跟着任务走
上一轮留下的“写到别人堆里”的故障这一轮查清了。故障现场反汇编出来是 glibc 的 str r1, [r2, r3]——写 errno,其中 r2 来自 mrc p15, 0, r2, c13, c0, 3, 也就是 TPIDRURO(线程指针)。桌面的 TP 正好落在 shell 的堆里:shell 调 set_tls 把寄存器改了,而 TPIDRURO 是每 CPU 一个,我们的上下文切换没保存 它,于是桌面的下一次 errno 写入就写进了陌生人的堆。
修法分三层:
CpuContext加一个tpidruro槽(偏移 64),切换的两条汇编路径在保存/恢复 时一起搬它- fork 的子进程继承父进程的线程指针:子上下文是新造的,TP 从当前寄存器读一份 放进镜像,否则子进程第一次 errno 写入就落在 0 上
- 座里原先把陷阱帧的
r4..spsr别名成CpuContext的那处改成独立暂存:帧只有 64 字节,撑不出新字段,别名一写就越界,guest 的 fork/getdents 会一起坏
修完之后桌面在 shell 子进程活着的情况下稳定运行,日志里除刻意的那次探针故障外 没有别的用户故障。
输入记录的 ABI
struct input_event 也是按 ABI 变的:x86-64 的时间戳是两个八字节词、整条记录 24 字节;EABI 是两个四字节词、整条 16 字节。中立事件流原来直接把 24 字节的内部 记录拷进调用者缓冲,ARM 上的桌面按 16 字节读,读到的就是错位数据。
现在 arch::abi::kInputEventLayout 描述字段位置与宽度,事件流逐条按它落盘;开机 自检的 event0 断言也跟着改成按 ABI 取(dev event0 48 bytes)。
键盘这件事这一轮又走了两步。
谁先取谁就得:串口的字节原来只被控制台 tty 取走,事件流吃不到。把发布挪到 字节源头——platform::SerialTryGetChar() 每交出一个字节就调 NoteSerialByte(), 翻成 evdev 码发进事件流。这样不管是控制台在读还是每拍的泵在读,按键都会进 event0。
定时器其实没死:上一轮“tick 只到 7”的判断是错的。这一轮直接读 CP15 的物理定时器寄存器,TVAL 在递减、CTL 是 1、IAR 是 1023(无挂起), 桌面轮询里看到的 tick 计数从 7 走到 9——定时器一直在跑。停下来的只是那条 [armv7] tick N 的打印(它在中断上下文里直接写 UART,被后来的串口输出挤住了), 不是时钟本身。
桌面真的在读事件:给 input_read 打点后确认,桌面按 16 字节(EABI 形状)读 /dev/event0,也确实读到过记录。
卡在更前面一环:桌面起来之后,从串口打进去的字节根本到不了 UART。证据是这样 拿到的——
SerialTryGetChar()里打点:开机那段cinux的输入逐个经过了这里,每一字节都 翻成了 evdev 码([kbd] note c -> code 32之类)- 桌面起来之后(第 121 行
vesper-fbdev: running之后)同样的打点一次都没再触发 - 同一时刻 GIC 的
ISPENDR/ISACTIVER都是 0、PMR是 0xFF、CTLR是 3, 定时器的TVAL在递减、CTL是 1,座上的中断门计数在涨——中断系统是好的, 就是没有字节进来
串口这一侧继续查下去,落到了两个内核问题:
僵尸退役两次。一个僵尸子进程会被退役两回:自己退出时一次、父进程消失时把子 进程挂到别人名下的那一圈又一次。SelfList 的结点被链第二遍就成环,回收器在 reap_pending 里沿着环走,而这段是关着中断的——整台机器就这么卡死了。修法是不 重复挂(挂之前先查表,走查也带上上限),回收器的走查同样带上限。
时钟冻死的真正原因。修完退役还卡,用 gdb 接上 QEMU 的调试端口取回溯,栈是:
HandlePpoll → Scheduler::yield → rotate_from_interrupt → switch_tasks → …也就是说桌面卡在 poll 的等待循环里。ARM 的 SVC 入口本来就带着 I=1,yield() 自己又全程关中断——于是一个停下来的任务永远等不到 tick,它的期限永远不过期, 循环就一直转,而定时器中断一次也进不来。x86 上没暴露是因为那边进内核时中断是开 着的。
修法是给等待路径开一道门:arch::SaveAndEnableIrq() 记下当前状态并放开中断, yield() 之后再 RestoreIrq() 恢复。改完 tick 从 7 一路跑到 341,桌面的轮询也 不再卡死。
按键于是通了。中断活过来之后每拍的泵能取到串口字节,桌面这边也就收到了—— 把桌面的 VESPER_FBDEV_TRACE=1 打开,串口日志里能看到它自己解析出来的按键:
trace[25] keydown 28 0 0
trace[25] poll=1 used=1 kbd=1 ptr=0 pty=0
trace[26] keyup 28 0 0回车键(evdev 码 28)从串口一路走到桌面的按键事件里。scripts/press-armv7-keys.sh 现在报的是“keys: arrived”。
复跑:scripts/press-armv7-keys.sh "ls",它会起桌面、在桌面进入循环之后把一行 字打进去,然后报“keys: arrived / none reached”。
指针与窗口
桌面的指针这一轮接上了 USB 平板:driver::UsbTablet::self() 在控制上找到设备就用 它的事件流,找不到才退回板子自己的空指针流。平板说绝对坐标,所以点击可以直接指 到像素——用 QMP 的 input-send-event 发 abs 与 btn 事件,桌面按它自己的换算 落在 (40,110),正是 TERMINAL 图标那一点。
图标是双击激活的(Icon::on_double_click),双击之后终端窗口真的开出来了:
窗口标题栏、关闭按钮、终端里的光标块都在。按键也随之有了下落:串口打的 echo hi 被桌面解析成 keydown 28/keyup 28 之类,随后 trace 里出现 pty=1——shell 收到按键并有回话。
按键的字符是错的,这一轮查出两个真问题:
- 字母码不是顺排的。Linux 的 evdev 字母码分三行走(a=30、b=48、c=46、 d=32、e=18…),我按
KEY_A + 偏移顺排,于是 "echo" 变成 "gdkz"。 换成真表之后字节流对上了。 - 一个键发了两遍。发布挪到
SerialTryGetChar之后,每拍的泵又调了一次NoteSerialByte,每个字符都进两次。去掉泵里的那次,pty 里读到的就是65 63 68 6F 20 68 69 0A 68 69 0A 3E 20——"echo hi"、回车、shell 回显 "hi"、再一个提示符 "> "。shell 真的在跑。
文字其实在格子里。窗口里看不到,是“收下之后没有重画”——把终端窗口的标题 栏拖一下,让桌面重新刷那块区域,文字就出来了:
> echo hi
> hi
>所以 Terminal::receive 的格子与光标都是对的。给脏区管线打了点之后看到的是:
Terminal::receive收下 "> ",cols 84 rows 26都对,随后确实往脏区推了一次(25,60 590x375)——桌面的脏区管线收到了- 但桌面在之后的十来秒里一次都没重画,直到下一次输入把它叫醒
也就是说脏区没问题,问题在桌面的轮询:它 poll(fds, 3, 15) 的 15 毫秒超时 从来没有生效过(打点里一次 expire 都没出现过),于是循环只在“有数据”时才转一 圈,没人来的时候就一直躺着。终端收下文字之后要等下一次输入才能被重画。
查下去是中性心跳从来没被这个端口喂过:MonotonicNanoseconds() 读的是 time::Tick::self().since_boot(),而调用 Tick::on_interrupt() 的只有 x86 的 heartbeat()。ARM 这边一个都没调,于是时钟永远是 0——poll 的 15 毫秒、nanosleep 的期限、futex 的超时,全都等不到。
修法很小:serve_tick() 里按这个定时器的比例给中性心跳补上计数(板子的定时器跑 10Hz,中性节拍是 100Hz,一次中断记十拍)。
改完桌面真的按 15 毫秒转起来了,循环计数从 14 涨到 320 以上,终端也不再等人来叫 醒——点开窗口、打字,回显与输出自己就出来了:
顺带发现桌面自己的双击判定也跟着真实了:两个点击隔一秒不再算双击,脚本里的间隔 收到了两百毫秒。
顺带修了 pty 的一个小口子:窗口尺寸原来只能从从设备那一侧设置,主设备 (TIOCSWINSZ)问不到答案;现在两边都落到同一个窗口上。
复跑:scripts/check-armv7-desk.sh。它把整条 GUI 路都判了五条:面板开了、循环 起来了、点击落到图标上、shell 从 pty 答了话,最后一条是看屏幕——在终端窗口的 方框里数像素:底色要占一半以上(说明窗口真的开着),字色至少 40 个点(说明文字 真的画上去了)。用错误的坐标点一下,最后这条会如实报 MISSING。
也可以单独跑 scripts/click-armv7-terminal.sh:双击图标、打字、截图,报 click delivered 与 shell answered。
时间记录也按 ABI
struct timespec / struct timeval 的两个词都是 long:x86-64 是十六字节,EABI 是八字节。中立读取器原来固定读十六字节,在 ARM 上会把紧挨着的那一个字当成纳秒, 于是 nanosleep、futex 的超时、ppoll 的期限都算错。
现在 arch::abi::kTimespecLayout 描述它与 kTimevalLayout(同形): gettimeofday 与 clock_gettime 都按调用者的形状落盘。clock_gettime64(EABI 的 403)另走一个门,那个形状在两边都是两个八字节词——于是 ARM 上原先那个 32 位 适配器撤掉,只剩一套机制。
GUI 车道进了 ctest
build/armv7-vesper/desk 在的时候,cmake/qemu/armv7/run.cmake 会多注册一个 arm_desk 测试:它跑 scripts/check-armv7-desk.sh,也就是把桌面点开、打字、 看屏幕那一整条。于是 ARM 的测试面是两条:
1/2 Test #1: arm_boot ... Passed 30.03 sec
2/2 Test #2: arm_desk ... Passed 50.17 sec两条互不干扰:桌面车道用的是自己的镜像,跑完会把默认车道的探针与镜像一起还原, 所以先跑哪条都行(两种顺序都验过)。
窗口能拖动了
arm_desk 这条检查又多了一步:开窗之后按住标题栏拖一段,然后看屏幕。判据也跟着 从“固定方框里数像素”改成“先找屏幕上的大暗块(终端的底色),再数块里的字色”—— 窗口挪了位置也照样认得出来:
terminal box: 46,81 588x399
terminal ink pixels: 2920 (need 40)
terminal text on screen after the drag: present
the window moved with the drag: present (left 46)两个窗口同时在
桌面车道再多一步:拖过终端之后双击 WELCOME,About 面板开在终端旁边,两窗并存。

判定分两张截图,各自干净:拖窗之后那张只看终端(暗块里的字色 2920 点、左边从 26 挪到 46),开第二个窗口之后那张只看 About 的标题栏((201,138,45) 在 162,52,428,64 这个框里有 2984 个点)。一张截图里两个窗口叠着时判据会互相污染, 分开拍就没有这个问题。
关掉一个窗口
再走一步:点 About 标题栏上的叉,它要真的消失,而终端留着。判定还是看像素—— 同一个金色方框里的点数从 2984 变成 0,终端那块暗里的字还在。
叉的位置是从截图里量出来的(x 418..424、y 55..60),点它的正中;第一版点偏 了两像素,窗口没关,检查如实报“its bar is still there”。
自己看一眼:演示脚本
给不想跑检查的人一条路:
scripts/demo-armv7-desktop.sh它铸一张桌面镜像、起 QEMU:画面走 VNC(鼠标在 VNC 窗口里点,平板报绝对坐标), 键盘还是这个终端(串口就是这端口的键盘流)。启动后能点开 TERMINAL、敲命令、 拖窗、关窗。跑完会把默认车道的探针与镜像还原,不留下桌面模式的残留。
箭头键与 Ctrl 组合
串口送来的是终端自己的词:箭头是 ESC [ A 这样的三字节,Ctrl-C 是一个控制字节。 当普通字符处理的话,一个箭头会变成三个散键。现在的解码分两级:
- 转义词:
ESC之后看一个字节,是[就进 CSI,再一个字节决定方向(A/B/C/D → 上/下/右/左),其余两个字节的转义整段吞掉 - 控制字节:
0x01..0x1F(除 Tab、换行、回车、退格)当作 Ctrl 加字母,先按下 Ctrl、再按字母、放开字母、放开 Ctrl
桌面那头解出来是:
ESC[A -> keydown 272 / keyup 272 (上)
ESC[B -> keydown 273 / keyup 273 (下)
0x03 -> keydown 29 (ctrl) / keydown 99 / keyup 99 / keyup 29272/273 是 visor 给箭头的带外码,99 是它折叠后的字母 c。
让 shell 真的能用
把一句带引号、反斜杠和管道的命令打进去,才发现三处缺口:
- 字符表太窄。原来只映射了字母、数字与少数标点,
"、\、|、{}这些 直接丢掉,一句printf "a\nb\n" | wc -l会被打成printf anbn | wc。现在补齐 整个可打印 ASCII(0x20..0x7E),带 shift 的符号按“按下 Shift、按键、放开键、 放开 Shift”发。 - 管道没接。EABI 的
pipe(42)、pipe2(359)、dup(41) 从来没在表里,于是 shell 报can't create pipe: Bad file descriptor。接上之后这句话消失。 - applet 找不到。busybox 的 shell 没开
FEATURE_SH_STANDALONE,wc这类 要走 PATH,而我们的内存根里只有/bin/sh。打开FEATURE_SH_STANDALONE与FEATURE_PREFER_APPLETS重建之后,wc: not found没有了。 - vfork 没接。busybox 起外部命令走
vfork(190),我们只接了fork与clone, 于是sh: can't fork。vfork接成 fork 语义(子进程拿一份自己的副本,父进程 的地址空间不受影响)——这是这一轮最后落的一处,验证还差一张截图。
顺带:串口泵原来每拍只取 8 字节,一行 30 多字节粘进去会让接收 FIFO 溢出、丢掉 结尾(shell 永远等不到回车)。现在按 FIFO 深度一次取满 32 字节。
管道真的跑起来了
> ls / | head -2
bin
disk
>能跑到这一步,先撞上的是一个内核 bug:一开管道就 pmm double free panic。诊断打印 把帧号报出来之后看清了——那是页表页被释放两次,而且成片出现(0x8086x000 连着 好几页)。
根因是 arm 这边自己维护了一份 128 条的“共享帧账本”,而中立的分配器本来就把每个页 的共享数记在它自己的位图旁边(x86 一直在用)。一个 shell 的地址空间有几百个页,账本 一满就静默丢掉记录,于是子进程退出时把父进程还在走的帧放掉了。改法是把 arm 的账本 删掉,RetainFrame/ReleaseFrame 直接走 Pmm::retain_frame/release_frame——一处 机制。另有一个细节:一帧第一次被共享时要记两条(原来的主人 + 新映射),只记一条的话 第一次拆解就会放掉别人还在走的那帧。
顺带修了桌车道的退出陷阱:脚本里第二个 trap ... EXIT 把第一个覆盖掉了,于是跑完 桌面车道不会把默认车道的探针还原——下一轮 arm_boot 就会撞到桌面镜像。现在两个职责 走同一个出口函数。
两个还没打通的地方
这轮想再往前走一步(重定向、退出码),撞到两个还没解决的问题,都记在这里:
长行会截断。echo aaaa…(六十多个字符)打到终端里,只有前二十来个到得了 shell。已经把串口抽取挂到了三个地方(每拍、系统调用入口、poll 的等待循环,后者 通过中立的 cinux::platform::PumpInput() 接缝),仍然会丢——接收 FIFO 只有 三十二字节,而粘贴是瞬间到达的,看起来是 QEMU 的 chardev 在 FIFO 满时直接丢弃。 下一轮的正解是打开 UART 的接收中断,让每个字节都在到达时被取走。
cat 会崩。cat /motd 与 /bb cat /motd 都是 user fault caught at 0 code 7 pc 401266C6。
这一轮把 pc 在未剥离的 busybox 里查了符号:落点是 glibc 的 __futex_abstimed_wait_common。给 user fault 的打印补上 r0..r3 之后看得更清楚:
[armv7] user fault at 0 code 7 pid 12 pc 401266C6 r0 0 r1 7FFFE9AC r2 0 r3 40183B18r0 是那个 futex 字——就是 0。而且内核里一次 [futex] 调用都没有(临时打点确认 过),所以崩溃发生在 glibc 自己做的原子比较交换上,不是系统调用失败。
范围也缩小了:不是 cat 专属——head /motd 一样崩,同样的 pc 与寄存器。而 ls / 与管道里的 head 是好的。差别在于按路径打开并读一个文件。
再排除一层:给 glibc 探针加了 fopen("/motd") + fgets,它是好的——
[glibc] stdio read: hi there所以不是 glibc 的 stdio 或我们的打开路径,而是 busybox 自己在那条路上的某个 状态。这条也进了判定(glibc 产物在时 EXPECTED_GLIBC_STDIO 会查它)。
gdb 这条路这一轮没走通:QEMU 11 的调试端口在批量模式下拒绝 continue ("Cannot execute this command while the target is running"),加 -S 也一样。
于是换了另一条:把与磁盘一致的未剥离 busybox 留了下来 (build/armv7-busybox/busybox.debug,构建脚本在 strip 之前多存一份)。有了符号, 那个 pc 一下子就说清楚了:
401266c6 -> safe_strncpy
401266c6: strb r4, [r0, r2] @ r0 = 0不是 glibc 的 futex,是 busybox 自己的 safe_strncpy 在往地址 0 写——r0 是目标 缓冲,它是空的。往上游找,这个函数在 lineedit.c 里只有两个调用点:
static size_t load_string(const char *src) { safe_strncpy(command_ps, src, S.maxsize); ... }
static void save_string(char *dst, unsigned maxsize) { safe_strncpy(dst, command_ps, maxsize); }往回找调用者:把用户栈上的字按代码段过滤后符号化,得到两个返回地址—— evalcommand(shell 在求值命令)与 __libc_free。也就是说子进程是在求值 cat /motd 这条命令的过程中走到了这一步,而不是在画提示符。
这一轮也给下次调试铺了路:busybox 现在按 -fno-pie -fno-omit-frame-pointer 编译 (原来只关 PIE),帧指针在,回溯才有可能。不过这次现场 r11 指向的是数据段 (frame 0 at 4018B128 return 1),说明崩的时候那一帧不是标准帧——所以还是没 拿到调用栈。下一轮换手段:给 safe_strncpy 的调用点逐个打桩,或者在 QEMU 里用 交互式 gdb 单步。
键盘从中断来,不再等心跳
长行被截掉的直接原因在 QEMU 的串口模型:接收 FIFO 只有三十二字节深,而 QEMU 把宿主的一次写整串塞进去,多出来的字节在 CPU 跑起来之前就已经丢了 (USR2 的 ORE 位),内核再怎么轮询也收不回来。所以问题分两半:
一半在内核。UART1 的接收线现在接到 GIC 上(SPI 26,GIC id 58,I.MX 的 interrupts 属性报的是裸 SPI 号,GIC 前面有十六个软件中断和十六个每核中断), irq.cpp 从"认领一个中断就当定时器"改成按中断号分发,接收线一到就排空 FIFO, 不再等十赫兹的心跳。使能点挪到了 GicInit 之后:桌面流程里的 guest 永不返回, 写在 guest 之后的那行根本执行不到。
另一半在测试。脚本原来一次性 printf 整行,超过三十二字节必丢尾巴。现在 按字节喂、每字节隔十毫秒,跟真实 115200 线上一字节 87 微秒的节奏同量级, 接收中断逐个排空。三连与五连命令的墨迹分别是 3193 与 3519(截断时是 3056), 单调上涨,说明整行都到了、每条都执行了。
定时器里的那次轮询留着当兜底:它和接收中断调的是同一个排空函数,不是第二套实现。
顺带修掉一个真的 ABI 缺口:EABI 的 stat64(104 字节,size 在 48、ino 在 96)与 stat(96 字节,size 在 44、ino 在 88)不是一个形状,而 fstat64(197) 原来写的是 后者。现在 arch::abi::kStat64Layout 描述它,HandleFstat64 按它落盘。这个不是 cat 崩溃的原因(改完仍崩),但它本来就会让所有按 64 位偏移读的工具读到错位字段。
启动路径上的那几个号
libc 自己会在招牌程序之前先摸几个号,拒了不至于崩,但功能会悄悄降级。这一轮 把还在被拒的几个接上,接的全是中性表里已有的实现:
getrandom(384):熵源有现成的 arm 实现,glibc 的金丝雀直接取到真随机prctl(172):线程命名与 keepcaps,中性实现本来就 portablereadlinkat(332):原来走fs::FileWorld::self().resolve,那是 x86 的挂载世界。 改成fs::kernel_vfs()这个中性入口,两边各自背后的实现都能解析ugetrlimit(191):旧的资源上限形状,两个四字节字。给中性读取加了一个宽度 参数,arm 传 4、64 位传 8,一份记录一个写手_llseek(140):偏移拆成高低两半、结果指针另走的旧形状,做成调中性 lseek 的 适配器,只有拼写是这条车道的
判定日志里剩下的拒绝从五个降到一个(msync,x86 也没有)。
argv[0] 带上自己的路径
execve 拿到空 argv 时,这一层原来塞进去的是一个空串。于是程序看见的 argv[0] 是空白:按名字分派的 shell 只能猜,诊断打印里本该是路径的位置也是空的。 现在用程序路径填 argv[0]——这是这一层唯一确定的名字。glibc 探针的那行从 self 变成了 self /disk/glibc,判定也改成断言整个串,空串不再算通过。
共享帧的计数回到中立层
cow.hpp 里声明的 RetainFrame 与 FrameShares,原来只有 arm 那份实现, x86 根本没有——哪天 x86 想用这两个函数,链接就会断。两个函数都不碰页表, 做的事全是跟分配器打交道,所以它们本来就该在中立层:
- 挪进
kernel/mm/cow.cpp,跟克隆走共用一句“先给原来的主人记账,再让新映射进来” - arm 的
cow_release.cpp只留页表那一半:标记共享叶子、释放遍历 - 两条车道现在都从同一个目标文件拿到这两个符号,arm 的归档对象里只剩引用
中立的故障门补齐,空门删掉
对着中立头逐个查,找到两处不对称:
mm::cow::TryResolvePageFault只有 x86 实现。arm 自己有一套RepairWriteFault, 语义相同但名字不同,于是中立的proc::InstallFaultResolver()在 arm 上链不上。 现在 arm 补了同名实现:写位当闸门,共享与否问分配器的计数(这个 port 的叶子 上没有主人标记)mm::cow::InstallResolver声明在中立头里,只有 x86 定义,没有任何调用者。 真正在装的是proc::InstallFaultResolver()(初始化序列调它)。这个空门删掉了, 省得以后有人照着它去装一个半套的解析器
还留着的一处没动:arm 的席位仍然自己装 InstallFaultRepair(&SeatRepairPage), 和中性那条的区别在失败路径——中性的会 exit_current(SIGSEGV),席位的期望是 回到 SeatFaultDeath 收场。要换得先统一这条失败路径,下一轮再说。
还缺什么
mprotect只处理 4KiB 叶子,大页跳过;将来设备映射要点到才需要补clock_gettime一类计时号仍未接,glibc 目前容忍失败getrandom、rseq走不支持探针,够用但不完整- 重定向与读回已验证可用(
echo hello > /scratch/t; cat /scratch/t,墨迹差值 正好是五个字符) - 堆尾越界写(旧记的 0x40182548)在当前构建下多轮全车道跑下来没有复现, 那行打印本身也已经不在代码里,按已消失处理
- 只剩 msync 一个号还被拒,x86 那边也没实现,不算这条车道独有的缺口
- 桌面在 fork 之后往堆尾之外写(0x40182548 无 VMA),待查
- 设备帧那条已经查过:framebuffer 的物理页在挂载时进硬件页登记,释放路径见登记 就跳过,所以不需要按映射计数,这一条不算缺口