AHCI 与它脚下的 PCI 总线
功能概述
这一页咱们把磁盘驱动的两截故事连起来读。下面的一截是 PCI 总线,它干的活是把机器上插着的设备一个个清点出来,再把每个设备的配置空间读回来。上面的一截是 AHCI 驱动,它坐在总线的名册上找到 SATA 控制器,把寄存器的窗口映射进来,然后靠中断来完成每一次的读写。kernel/drivers/pci 把总线做成了一张查得到的名册,消费者是按类码来问的,而从不按槽位来问,因为槽位本来就是固件留给机器的事实,内核里的任何驱动都不该指名道姓。kernel/drivers/ahci 认死了这唯一的一个控制器,整条的命令链一次只发一条命令,也只占用零号的命令槽,完成靠中断把睡眠的人叫起来,而不是去轮询命令寄存器。
块设备的一侧已经另有一层,AHCI 只是坐在后面的设备。同一份块设备接口的下面还站着 NVMe(kernel/drivers/nvme,PCI 上的另一个大容量存储子类 0x08),它自己的页面还是空着的,咱们在这里给它留一个位置。这一页讲的是 AHCI 的路是怎么走通的。
PCI 总线:配置空间怎么读
咱们要访问 PCI 的配置空间,走的是用一对端口来访问的路子(规范里叫一号机制):0xCF8 是地址口,而 0xCFC 是数据口。pci.cpp 的匿名命名空间里住着这一对常量,读一次配置的流程,就是往地址口写一个选址字,再把要的双字从数据口拿回来。选址字的拼装归 pci_layout.cpp 的 MakeConfigAddress 管,咱们把字段的排布读一遍:31 位是使能位,缺了它,这样的访问就不算配置周期。接下来的三类号要各占一份地盘:总线号占的是 8 位,设备号占的是 5 位,功能号占的是 3 位。最低处的寄存器字段放的是双字序号,也就是偏移除以四的结果。所以偏移没对齐也不会出错,它会落回自己所在的那个双字,源码的注释把这个行为写得明白。
有了读法,枚举就是把这个读法套到所有的座位上。枚举本身是 PciBus::init() 做的,它替咱们扫过了 32 条总线、每条 32 个槽,scan_slot 在每个槽上设了一道关卡:零号函数不应答的话,这个槽就整个当空的,其余的七个函数连探都不探。零号应答了,八个函数里每一个答应的都进名册。判断在不在的依据是身份双字里的厂商号,读出来是 0xFFFF 的话就代表没有人应答。名册其实是一张 SlotTable<PciDevice, 32>,容量满了,枚举就停了下来,而且打出一条说明,源码在这里的态度是不硬撑,装不下的就明说。PciDevice 里存的字段照配置空间的原始字节抄了回来:位置三元组、厂商与设备号、类码三字节(基类、子类、编程接口)、版本号、头类型、中断的两个字节,外加六个原样未读的基址寄存器(BAR,设备报寄存器窗口位置用的)。
消费者要问名册的时候,咱们有两个口子可用。find_by_class 按基类加子类找头一个匹配的,AHCI 驱动走的就是它(大容量存储的 0x01、子类 0x06)。find_by_ids 按厂商号加设备号来找咱们要的设备,头文件的注释把分工说清了:类码聚拢的是一窝兄弟,寄存器的排布未必相同,认得自家硅片的驱动才按名字来要。两个口都返回指向名册的指针,名册在引导期间填满之后就再也不变了,指针因此一辈子都是有效的。
咱们把 enable_device 当作叫醒一台设备的一步,它改的是命令寄存器:打开总线主控位(DMA 要用它)和内存译码位,同时清掉了中断屏蔽位。三个位都开了,设备才能答寄存器的读、做 DMA、拉中断线,缺了任何一样,后面的事都做不成。
BAR 的解读也归 pci_layout.cpp 管。DecodeBar 把一个原始双字翻成 PciBar:读到零其实就当它未用,0 位竖着的话是端口空间,不然的话就是内存窗口,宽度是 32 位的还是 64 位的由宽度字段来定,第 3 位标的是可预取。BarBase 负责把 64 位窗口的两个半截拼起来,高半截取的是下一个寄存器。排在五号位的 64 位窗口是畸形的,它的高半截按零来读,源码的注释写明这样处理是为了不让引导卡住。同一层里其实还住着 FindCapability,它从状态寄存器的 20 位确认设备有链表,咱们从 0x34 处拿到头一个指针往后走,找出要的那个能力号。链表转圈或者跑飞都是有界的,四十八个头之后就放弃了、答出零来。这套解码在 pci.cpp 里还留了一个内核面的注入口 ReadSpotConfig,注入式读者拿的就是它的形状,host 测试的替身和真总线走的是同一个解码器,测试的机器上没有总线,咱们照样能把算术查一遍。
AHCI 的寄存器版图
AHCI 这边的一切都长在 ahci_layout.hpp 的几个结构体上。HbaMem 是控制器的整块寄存器:头部装的是能力、全局主机控制、全局中断状态、端口实现位图这些全局寄存器,从 0x100 起排了 32 个端口,每个端口是一块 0x80 字节的 HbaPort。端口块里咱们用得到的几个,是命令的链表基址和它的上半个,还有 FIS 基址的同样的两半,FIS 是帧信息结构的缩写,收的是设备发给咱们的寄存器快照。中断状态要写一才清得了,中断使能管的是哪些事能举线。命令寄存器装的是发动机的几个开关,任务文件数据报的是盘的状态,SATA 状态里住着咱们要的检测字段,命令发出则是写一个槽的位就把命令放出去的口。
这些排布不是靠人来信的,static_assert 一条条地看着:端口块必须是 0x80 字节、PxIS 必须坐在 0x10、PxCMD 在 0x18、PxTFD 在 0x20、PxCI 在 0x38,HbaMem 的总大小和端口数组的起点也各有断言守着。编译期对不上就直接编不过,咱们不必去手算任何偏移,这跟进程那一页里 CpuContext 的做法是同一个思路。
命令链这一侧的结构体也是同一种待遇,咱们把它们挨个认一遍。CommandHeader 是 32 字节的命令头,它的第一个双字装 FIS 长度和方向,第二个双字是搬运的字节数,完成的时候驱动靠它来核对数字。PhysicalRegion 是 16 字节的一段散集描述,说的就是散集表里一条『数据块地址加长度』的条目,字节计数按减一存放在最后一个双字的位置里,31 位标的是完成中断。RegisterFis 是 64 字节的寄存器 FIS,48 位的扇区地址按规范拆在了 device 字节的两侧,lba_low 的三个字节接 device,后面再接 lba_high 的三个字节。FIS 的几个常量也各有断言守着,比如命令标志的位号是 7,源码的注释记着一桩旧案:早年的草稿把它放在了 6 号位,驱动发了出去,机器就一声不吭了,位错了设备就什么都不答。一个命令表的长度是 144 字节:FIS 排在了前头,ATAPI 的字节和填充垫在了中间,垫后的一条散集描述收了尾。命令页的偏移常量 kCommandTableOffset 是 0x400,断言保证它正好排在 32 个命令头的后面。
咱们把编码函数交给了 ahci_layout.cpp,它是一个两边都编译的翻译单元。FillRegisterFis 把命令号、48 位地址按字节拆好、扇区数填进 FIS。MakeHeaderFlags 写明了寄存器 FIS 固定长五个双字、外加散集描述里的一条,写方向置的是 6 号位。MakeRegionFlags 存的是字节计数减一,再置上完成中断的位。host 的测试不用控制器在场,也能把包装的算术查干净。
初始化:从找设备到发动机器
Ahci::init() 的顺序咱们整段走一遍,每一步都跟着初始化的阶梯(kernel/init/init_sequence.cpp)走。pci 的程序排在打开中断之前跑,ahci 的程序排在打开中断之后,因为识别盘要等的是一次中断,顺序是不能倒的。
头一件事其实是按类找设备。find_by_class 向大容量存储下的 0x06 发问,答不上来的话就打一条 ahci absent 的报告然后返回假,源码的注释把缺席当作机器的事实来报,不算引导的失败,串口线上记了一笔,阶梯继续爬就是了。找到之后咱们就 enable_device 叫醒它,从 BAR 里取五号窗口(注释写明 ICH9 一类的主机答在五号 BAR),MapDeviceWindow 把寄存器的窗口映射进来,regs_ 从此就指向了寄存器窗口。
然后咱们做控制器级的复位。全局主机控制的寄存器里,31 位是 AHCI 的模式开关,源码的注释说缺了它什么都不译码。0 位是复位用的,它是自清零的。驱动把它置上了 AHCI 使能、再置上复位位,然后等复位位自己落回去的那一拍,等的预算是 100 拍(拍是时钟节拍,重试轮询里数的一轮),规范给了主机一秒钟。这段等待路径(wait_clear_observed)有个特别的地方:预算只用来诊断,超时打一条卡住的报告,等待本身是不会提前结束的。
接着咱们挑端口。ports_implemented 位图说了哪些端口存在,咱们再逐个看 sata_status 的检测字段(低 4 位),值是 3 的盘才算在场且就绪。挑中的那个记进 port_index_,这个驱动从头到尾伺候的只是一个端口。一个都没有的话就打报告退场。
停机换装的一段是有讲究的。引擎可能带着固件留下的旧状态在跑,驱动把命令寄存器里的 START 位清掉,等到命令列表在跑位(15 位)落下去的时刻,预算给的是 50 拍,规范让软件给出五百毫秒的时间,然后咱们再清 FIS 接收使能,等的是接收在跑位(14 位)落下去。停干净了才轮到拿页:take_port_pages 从 PMM(物理内存管理器,见 物理内存管理)拿的是命令页、FIS 页、数据页这三页,一次就把三页都拿了,要么三页全到手,要么一页都不要、已拿的全退回去,源码的注释说拿一半等于端口半武装,那样的状态是不许存在的。命令页清零了之后,物理基址写进端口的命令链表基址和 FIS 基址,高半截写的是零。然后咱们把 FIS 接收打开、等它在跑位落地,咱们再查一次端口是不是空闲(检测字段就绪、任务文件数据上没有忙和请求位),查过了才置 START、等命令列表在跑位竖起来。
咱们把中断的一段接在发动机器之后。中断线号直接取自配置空间里固件留下的那个字节,驱动把端口和全局的待决中断状态写一清掉,注册的是 irq_thunk 这个入口,打开了这根线,再把端口的中断使能和全局主机控制里的中断门(1 位)一起打开。到了这一步,控制器是活的、线是通的,只是发出去的命令还一条都没有。
收尾其实是一次开卷考试。数据页填上 0xA5 的图案,咱们发一条 IDENTIFY DEVICE(0xEC),等的是它完成,核对命令头上的搬运字节数正好是 512,把 256 个字拷回来过 IdentifyAdmits 的准入检查,这一检查问的是盘够不够格当咱们手里的块设备。识别数据是盘那头的东西,主机控制器只是代为收取的一方,所以解析单独住在 ahci_identify 里:它读的是盘扇区容量的上限(SectorCeilingFromIdentify)和型号串(ModelFromIdentify,盘里的字符串按字交换了字节序,拷贝时一路换了回来),准入的条件源码注释列得清楚:纯 ATA、型号可打印非空白、LBA48 加这个驱动要发的 DMA 与 flush 特性、像样的扇区上限、512 字节的逻辑扇区,盘要是标了校验和还得过校验。过不了的盘不注册成块设备,不管命令的错误位说了什么。识别通过之后还有一段自检:咱们把 LBA 1 那个扇区存下来(LBA 是扇区的地址编号,LBA 1 就是 1 号扇区)、写入一个递增的图案、读回比对、把原扇区写回去,末了补一次 flush。样样都绿了,这次识别自检才算过了关。
命令链:一条命令的一生
读写走的是同一根管子 issue,咱们跟着一次读操作把它走完。read_blocks 与 write_blocks 收的都是 Lba(扇区地址,自己的一个词)加 BlockSpan(扇区数),一次搬的至多是 8 个扇区,因为给的数据页只有一页 4 KiB。写操作把调用者的数据拷进数据页,读操作在完成了之后把数据页拷出去,所以缓冲区什么对齐都行,绕这一页是驱动替咱们做的事。
issue 的台面工作是填零号命令槽。命令头要写上的是标志(写方向、一条散集腿),把搬运的字节数清了零,再写上命令表的基址。有数据的时候再把散集描述填上:数据基址是数据页的物理地址,标志里装的是字节数减一加完成中断位。填 FIS 的活交给 FillRegisterFis,命令号按咱们的操作来选:读走的是 READ DMA EXT(0x25),写走的是 WRITE DMA EXT(0x35),冲缓存走的是 FLUSH CACHE EXT(0xEA),读和写带的是 48 位寻址。填完之后有一小段值得咱们停下来看:completion_.rearm() 把完成标志重新上膛,端口的中断状态写一清掉,中间插了一条编译器屏障,然后往 command_issue 写零号槽的位。屏障挡的是重排,状态清除和发出之间是不能颠倒的。
命令放出去了之后,等待分成了两种姿势,这道缝咱们在 wait_for_completion 里看得见。调度器已经跑起来的时候,调用任务是正经的任务,它停在 proc::Completion 上睡(这个完成原语咱们在 同步原语里细讲过)。识别盘那类调度器还没上场的早期情境,走的是另一条循环:存下中断状态看一眼完成位,没完成咱们就开中断停机等下一拍。中断处理完了会调 finish,睡着的那个醒来就能拿走判决。
读完成的验收还有两道检查,咱们把它们过一遍。命令的发出位必须已经落下去,不然的话就交给 Check 当场拦下,Check 是运行时的断言,命中了就停机,报的是完成回来了命令却还在飞。命令头上的搬运字节数必须正好等于扇区数乘 512,不然的话也是 Check,报的是 DMA 的字节没齐完成就来了。这两道检查走的是 base::safety::Check,命中了就停机报告,驱动宁可当场响亮地错。
中断与完成路径
中断入口 on_interrupt 的第一件事是认领,咱们跟着它进门。它看端口的中断状态里有没有自己看着的六个事件(设备到主机的 FIS、PIO setup、主机总线数据错、主机总线致命错、任务文件错、接口致命错),一个都没有的话就返回,同一条线上邻居的信号由它原样放过。这个判断让共享的中断线能被多个驱动共用。
认领之后分成了成败两条路。成功的判据有三个条件一起成立:来了完成事件(D2H FIS 或 PIO setup),零号槽的发出位已经落下去,任务文件数据上的错误、请求、故障、忙四个位全干净。失败则是四个致命事件里有任何一个亮了。失败的路走的是隔离:原子标志置起来,从此 issue 对一切来的命令一律拒绝,端口的中断使能清零、START 清掉,串口上把事件、任务文件、发出位一并报了出来。隔离之后这个端口就不再发命令了,机器照跑别的,源码用 quarantined_ 这个原子布尔替咱们记这件事,读的一侧带获取语义,也就是读到隔离标志的那一刻,就一定能看到隔离清掉的那些寄存器。两条路收尾的动作是一样的:端口的中断状态写一清除,全局中断状态里本端口的位也写一清除,然后 completion_.finish 把睡着的等待者叫醒,成功或失败各拿各的返回值。
完成原语本身的纪律在 同步原语那一页讲过了,咱们在这里只补一句分工:AHCI 的 completion_ 是一次一发,每条命令都重新上了膛。块队列那一层的每条请求各带一个自己的完成实例,两层的等待是互不借用的。
和块设备层的接口
咱们来看 AHCI 对上的脸,它是一张概念加一张擦除后的表,都住在了 block_device_concept.hpp。BlockDevice 这个 concept 要求的五个方法:读块、写块、问容量、问块大小、flush,检查是在编译期做的,没有继承也没有手写的函数表。EraseBlockDevice<Dev> 给一个过检的设备生成一份 BlockOps,五个转发器全是无捕获的,各自退化成普通的函数指针,设备指针在调用的时候当作头一个参数跟着走。BlockPort::adopt 把设备在端口的后面落座,没落座的端口五个入口全是空,读、写、flush 三个答的是假,容量与块大小答的是零。
而再往上一层,块设备的消费者从来不止一个人,BlockQueue(block_queue.hpp)管的就是这件事。队列里备了一个请求池(SlotTable<BlockRequest, kBlockQueueDepth>)和一条待办环,调用者把请求停进池里、睡在自己的完成实例上。谁发现设备闲了下来,谁就替大家值这一班,把停着的请求一条条驱动完了再下班。多数时候等着被叫的是咱们,值班的轮不到咱们。头文件的注释把这个安排说得干净:锁只在名单更新的一眨眼持有,持锁而绝不跨着设备命令或睡眠。所以设备永远见不到两条命令叠着,睡醒的人看到的是数据已经搬好了。这一层的细节属于块层自己的故事,这一页交代的就是接缝。
咱们到 file_world.cpp 里看接缝:文件世界起队列的那一行写的是 new BlockQueue(Ahci::self()),块层从此只认手里的 BlockPort,背后坐的是 AHCI 还是别的设备,它是不用知道的。NVMe 走的是另一个座位(设备模型里的 nvme0),同一张接口等着它有自己页面的那天。
源码位置
kernel/arch/x86_64/platform/pci/pci.hpp、kernel/arch/x86_64/platform/pci/pci.cpp— PciBus 名册、枚举与选通、ReadSpotConfig 注入口kernel/arch/x86_64/platform/pci/pci_layout.hpp、kernel/arch/x86_64/platform/pci/pci_layout.cpp— 选址字与 BAR 解码、能力链表查找、子类常量kernel/drivers/ahci/ahci.hpp、kernel/drivers/ahci/ahci.cpp— Ahci 单例、初始化、issue 与等待、on_interruptkernel/drivers/ahci/ahci_layout.hpp、kernel/drivers/ahci/ahci_layout.cpp— 控制器(HBA)寄存器结构、命令链结构、FIS 与标志编码kernel/drivers/ahci/ahci_identify.hpp、kernel/drivers/ahci/ahci_identify.cpp— 识别数据的解析与准入检查kernel/drivers/block/block_device_concept.hpp— BlockDevice 概念、BlockOps、BlockPortkernel/drivers/block/block_queue.hpp、kernel/drivers/block/block_queue.cpp— 请求池、值班驱动、完成等待kernel/init/init_sequence.cpp— pci 与 ahci 两站在初始化阶梯上的位置kernel/fs/file_world.cpp— BlockQueue 落座 AHCI 的那一行