多核芯片(Symmetric Multi-Processing)启动（一）：spin-table

前言

看这篇文章，你必备的一些前置知识有如下

1、ATF启动流程 2、PSCI电源管理的概念 3、设备树

如果没有，想要我发布什么方面的内容？记得点赞、分享、评论三连。哈哈哈

昨天有个朋友在问多核启动，于是今天就整理一篇多核启动的文章，内容大多数参考与网上前辈们的优秀博客，感激。

1、SMP是什么？

SMP 英文为Symmetric Multi-Processing ，是对称多处理结构的简称，是指在一个计算机上汇集了一组处理器（多CPU），各CPU之间共享内存子系统以及总线结构，一个服务器系统可以同时运行多个处理器，并共享内存和其他的主机资源。

CMP 英文为Chip multiprocessors，指的是单芯片多处理器，也指多核心。其思想是将大规模并行处理器中的SMP集成到同一芯片内，各个处理器并行执行不同的进程。

CPU数：独立的中央处理单元，体现在主板上就是有多少个CPU槽位
CPU核心数（CPU cores）：在每一个CPU上，都可能有多核（core）,每个核中都有独立的ALU，FPU，Cache等组件，可以理解为CPU的物理核数。（我们常说4核8线程中的核），指物理上存在的物体。
CPU线程数（processor逻辑核）：一种逻辑上的概念，并非真实存在的物体，只是为了更好地描述CPU的运作能力。简单地说，就是模拟出的CPU核心数。

不过在这里我们这里指的是多个单核CPU组合到一起，每个核都有自己的一套寄存器。

一个系统存在多个CPU，成本会更高和管理也更困难。多核算是轻量级的SMP，物理上多核CPU还是封装成一个CPU，但是在CPU内部具有多个CPU的核心部件，可以同时运行多个线程/进程。但是需要CPU核心之间要共享资源，比如缓存。

对程序员来说，它们之间的区别很小，大多数情况可以不做区分。我们在嵌入式开发中，大部分都是用的多核CPU。

这里我们就把这个SMP启动转换成多核CPU启动。

2、启动方式

程序为何可以在多个cpu上并发执行：他们有各自独立的一套寄存器，如：程序计数器pc,栈指针寄存器sp,通用寄存器等，可以独自取指、译码、执行，当然内存和外设资源是共享的，多核环境下当访问临界区资源一般自旋锁来防止竞态发生。

soc启动的一般会从片内的rom，也叫bootrom开始执行第一条指令，这个地址是系统默认的启动地址，会在bootrom中由芯片厂家固化一段启动代码来加载启动bootloader到片内的sram,启动完成后的bootloader除了做一些硬件初始化之外做的最重要的事情是初始化ddr,因为sram的空间比较小所以需要初始化拥有大内存 ddr,最后会从网络/usb下载或从存储设备分区上加载内核到ddr某个地址，为内核传递参数之后，然后bootloader就完成了它的使命，跳转到内核，就进入了操作系统内核的世界。

bootloader将系统的控制权交给内核之后，他首先会进行处理器架构相关初始化部分，如设置异常向量表，初始化mmu（之后内核就从物理地址空间进入了虚拟地址空间的世界，一切是那么的虚无缥缈，又是那么的恰到好处）等等，然后会清bss段，设置sp之后跳转到C语言部分进行更加复杂通用的初始化，其中会进行内存方面的初始化，调度器初始化，文件系统等内核基础组件初始化工作，随后会进行关键的从处理器的引导过程，然后是各种实质性的设备驱动的初始化，最后创建系统的第一个用户进程init后进入用户空间执行用户进程宣誓内核初始化完成，可以进程正常的调度执行。

系统初始化阶段大多数都是主处理器做初始化工作，所有不用考虑处理器并发情况，一旦从处理器被bingup起来，调度器和各自的运行队列准备就绪，多个任务就会均衡到各个处理器，开始了并发的世界，一切是那么的神奇。

soc在启动阶段除了一些特殊情况外（如为了加快启动速度，在bl2阶段通过并行加载方式同时加载bl31、bl32和bl33镜像），一般都没有并行化需求。因此只需要一个cpu执行启动流程即可，这个cpu被称为primary cpu，而其它的cpu则统一被称为secondary cpu。为了防止secondary cpu在启动阶段的执行，它们在启动时必须要被设置为一个特定的状态。（有时候为了增加启动速度，必须对时间敏感的设备，就可能启动的时候整个从核并行跑一些任务）

当primary cpu完成操作系统初始化，调度系统开始工作后，就可以通过一定的机制启动secondary cpu。显然secondary cpu不再需要执行启动流程代码，而只需直接跳转到内核中执行即可。

主流程启动初始化一般来说都是主核在干的，当系统完成了初始化后就开始启动从核。这就像在启动的大门，只有主核让你过了，其他的先在门外等着。当cpu0启动到kernel后，就会去门口，把它们的门禁卡给它们，卡上就写的它们的目的地班级是哪里。如果没有这个门禁卡的cpu，说明地址为0，就继续在原地等着。

故其启动的关键是如何将内核入口地址告知secondary cpu，以使其能跳转到正确的执行位置。

aarch64架构实现了两种不同的启动方式，spin-table和psci。

其中spin-table方式非常简单，但其只能被用于secondary cpu启动，功能比较单一。

随着aarch64架构电源管理需求的增加（如cpu热插拔、cpu idle等），arm设计了一套标准的电源管理接口协议psci。该协议可以支持所有cpu相关的电源管理接口，而且由于电源相关操作是系统的关键功能，为了防止其被攻击，该协议将底层相关的实现都放到了secure空间，从而可提高系统的安全性。

2.1 spin-table

spin-table启动流程的示意图如下：

芯片上电后primary cpu开始执行启动流程，而secondary cpu则将自身设置为WFE睡眠状态，并且为内核准备了一块内存，用于填写secondary cpu的入口地址。

uboot负责将这块内存的地址写入devicetree中，当内核初始化完成，需要启动secondary cpu时，就将其内核入口地址写到那块内存中，然后唤醒cpu。

secondary cpu被唤醒后，检查该内存的内容，确认内核已经向其写入了启动地址，就跳转到该地址执行启动流程。

2.1.1 secondary cpu初始化状态设置

uboot启动时，secondary cpu会通过以下流程进入wfe状态（arch/arm/cpu/armv8/start.S）：

#if defined(CONFIG_ARMV8_SPIN_TABLE) && !defined(CONFIG_SPL_BUILD)    branch_if_master x0, x1, master_cpu                  （1）    b spin_table_secondary_jump                    （2）    …master_cpu:                                                  （3）    bl _main

若当前cpu为primary cpu，则跳转到step 3，继续执行启动流程。其中cpu id是通过mpidr区分的，而启动流程中哪个cpu作为primary cpu可以任意指定。当指定完成后，此处就可以根据其身份确定相应的执行流程
若当前cpu为slave cpu，则执行spin流程。它是由spin_table_secondary_jump函数实现的（arch/arm/cpu/armv8/start.S）。以下为其代码实现：

ENTRY(spin_table_secondary_jump).globl spin_table_reserve_beginspin_table_reserve_begin:0: wfe                                           （1）    ldr x0, spin_table_cpu_release_addr       （2）    cbz x0, 0b                                （3）    br x0                                    （4）.globl spin_table_cpu_release_addr                    （5）    .align 3spin_table_cpu_release_addr:    .quad 0.globl spin_table_reserve_endspin_table_reserve_end:ENDPROC(spin_table_secondary_jump)

secondary cpu当前没有事情要做，因此执行wfe指令进入睡眠模式，以降低功耗
spin_table_cpu_release_addr将由uboot传递给内核，根据step 5的定义可知，其长度为8个字节，在64位系统中正好可以保存一个指针。而它的内容在启动时会被初始化为0，当内核初始化完成后，在启动secondary cpu之前，会在uboot中将其入口地址写到该位置，并唤醒它
当secondary cpu从wfe状态唤醒后，会校验内核是否在spin_table_cpu_release_addr处填写了它的启动入口。若未填写，则其会继续进入wfe状态
若内核填入了启动地址，则其直接跳转到该地址开始执行内核初始化流程

2.1.2 spin_table_cpu_release_addr的传递

由于在armv8架构下，uboot只能通过devicetree向内核传递参数信息，因此当其开启了CONFIG_ARMV8_SPIN_TABLE配置选项后，就需要在适当的时候将该值写入devicetree中。

我们知道uboot一般通过bootm命令启动操作系统（aarch64支持的booti命令，其底层实现与bootm相同），因此在bootm中会执行一系列启动前的准备工作，其中就包括将spin-table地写入devicetree的工作。以下其执行流程图：

spin_table_update_dt的代码实现如下：

int spin_table_update_dt(void *fdt){    …    unsigned long rsv_addr = (unsigned long)&spin_table_reserve_begin;       unsigned long rsv_size = &spin_table_reserve_end -                        &spin_table_reserve_begin;                 （1）    cpus_offset = fdt_path_offset(fdt, "/cpus");                                       （2）    if (cpus_offset < 0)        return -ENODEV;    for (offset = fdt_first_subnode(fdt, cpus_offset);                             offset >= 0;         offset = fdt_next_subnode(fdt, offset)) {        prop = fdt_getprop(fdt, offset, "device_type", NULL);        if (!prop || strcmp(prop, "cpu"))            continue;        prop = fdt_getprop(fdt, offset, "enable-method", NULL);                    （3）        if (!prop || strcmp(prop, "spin-table"))            return 0;    }    for (offset = fdt_first_subnode(fdt, cpus_offset);         offset >= 0;         offset = fdt_next_subnode(fdt, offset)) {        prop = fdt_getprop(fdt, offset, "device_type", NULL);        if (!prop || strcmp(prop, "cpu"))            continue;        ret = fdt_setprop_u64(fdt, offset, "cpu-release-addr",                (unsigned long)&spin_table_cpu_release_addr);              （4）        if (ret)            return -ENOSPC;    }    ret = fdt_add_mem_rsv(fdt, rsv_addr, rsv_size);                                    （5）    …}

获取其起始地址和长度
从devicetree中获取cpus节点
遍历该节点的所有cpu子节点，并校验其enable-method是否为spin-table。若不是所有cpu的都该类型，则不设置
若所有cpu的enable-method都为spin-table，则将该参数设置到cpu-release-addr属性中
由于这段地址有特殊用途，内核的内存管理系统不能将其分配给其它模块。因此，需要将其添加到保留内存中

2.1.3 启动secondary cpu

内核在启动secondary cpu之前当然需要为其准备好执行环境，因为内核中cpu最终都将由调度器管理，故此时调度子系统应该要初始化完成。

同时cpu启动完成转交给调度器之前，并没有实际的业务进程，而我们知道内核中cpu在空闲时会执行idle进程。因此，在其启动之前需要为每个cpu初始化一个idle进程。

另外，由于将一个cpu通过热插拔方式移除后，再次启动该cpu的流程，与secondary cpu的启动流程是相同的，因此内核复用了cpu hotplug框架用于启动secondary cpu。

而内核为每个cpu都分配了一个独立的hotplug线程，用于执行本cpu相关的热插拔流程。为此，内核通过以下流程执行secondary cpu启动操作：

idle进程初始化

以下代码为每个非boot cpu分配一个idle进程

void __init idle_threads_init(void){    …    boot_cpu = smp_processor_id();    for_each_possible_cpu(cpu) {                 （1）        if (cpu != boot_cpu)            idle_init(cpu);              （2）    }}

遍历系统中所有的possible cpu
若该cpu为secondary cpu，则为其初始化一个idle进程

hotplug线程初始化

以下代码为每个cpu初始化一个hotplug线程

void __init cpuhp_threads_init(void){    BUG_ON(smpboot_register_percpu_thread(&cpuhp_threads));    kthread_unpark(this_cpu_read(cpuhp_state.thread));}

其中线程的描述结构体定义如下：

static struct smp_hotplug_thread cpuhp_threads = {    .store   = &cpuhp_state.thread,               （1）    .create   = &cpuhp_create,                     （2）    .thread_should_run = cpuhp_should_run,                  （3）    .thread_fn  = cpuhp_thread_fun,                  （4）    .thread_comm  = "cpuhp/%u",                        （5）    .selfparking  = true,                              （6）}

用于保存cpu上的task struct指针
线程创建时调用的回调
该回调用于获取线程是否需要退出标志
cpu hotplug主函数，执行实际的hotplug操作
该线程的线程名
用于设置线程创建完成后，是否将其设置为park状态

hotplug回调线程唤醒

内核使用以下流程唤醒特定cpu的hotplug线程，用于执行实际的cpu启动流程：

由于cpu启动时需要与一系列模块交互以执行相应的准备工作，为此内核为其定义了一组hotplug状态，用于表示cpu在启动或关闭时分别需要执行的流程。以下为个阶段状态定义示例（由于该数组较长，故只截了一小段）：

static struct cpuhp_step cpuhp_hp_states[] = {    [CPUHP_OFFLINE] = {        .name   = "offline",        .startup.single  = NULL,        .teardown.single = NULL,    },    …    [CPUHP_BRINGUP_CPU] = {        .name   = "cpu:bringup",        .startup.single  = bringup_cpu,        .teardown.single = finish_cpu,        .cant_stop  = true,        }    …    [CPUHP_ONLINE] = {        .name   = "online",        .startup.single  = NULL,        .teardown.single = NULL,    },}

以上每个阶段都可包含startup.single和teardown.single两个回调函数，分别表示cpu启动和关闭时需要执行的流程。其中在cpu启动时，将会从CPUHP_OFFLINE状态开始，依次执行各个阶段的startup.single回调函数。其中CPUHP_BRINGUP_CPU及之前的阶段都在secondary cpu启动之前执行。

而CPUHP_BRINGUP_CPU阶段的回调函数bringup_cpu，会实际触发secondary cpu的启动流程。它将通过cpu_ops接口调用spin-table函数，启动secondary cpu，并等待其启动完成。

当secondary cpu启动完成后，将唤醒hotplug线程，其将继续执行CPUHP_BRINGUP_CPU之后阶段相关的回调函数。

cpu操作函数

cpu_ops函数由bringup_cpu调用，以触发secondary cpu启动。它是根据设备树中解析出的enable-method属性确定的。

int __init init_cpu_ops(int cpu){    const char *enable_method = cpu_read_enable_method(cpu);   （1）            …    cpu_ops[cpu] = cpu_get_ops(enable_method);                 （2）        …}

获取该cpu enable-method属性的值
根据其enable-method获取其对应的cpu_ops回调

其中spin-table启动方式的回调如下：

const struct cpu_operations smp_spin_table_ops = {    .name  = "spin-table",    .cpu_init = smp_spin_table_cpu_init,    .cpu_prepare = smp_spin_table_cpu_prepare,    .cpu_boot = smp_spin_table_cpu_boot,}

触发secondary cpu启动

以上流程都准备完成后，触发secondary cpu启动就非常简单了。只需调用其cpu_ops回调函数，向其对应的spin_table_cpu_release_addr位置写入secondary cpu入口地址即可。以下为其调用流程：

其中smp_spin_table_cpu_boot的实现如下：

static int smp_spin_table_cpu_boot(unsigned int cpu){    write_pen_release(cpu_logical_map(cpu));    （1）    sev();                                      （2）    return 0;}

向给定地址写入内核entry
通过sev指令唤醒secondary cpu启动

此后，该线程将等待cpu启动完成，并在完成后将其设置为online状态

secondary cpu执行流程

aarch64架构secondary cpu的内核入口函数为secondary_entry（arch/arm64/kernel/head.S），以下为其执行主流程：

由于其底层相关初始化流程与primary cpu类似，因此此处不再介绍。我们这里主要看一下它是如何通过secondary_start_kernel启动idle线程的：

asmlinkage notrace void secondary_start_kernel(void){    struct mm_struct *mm = &init_mm;                     …    current->active_mm = mm;                               （1）    cpu_uninstall_idmap();                                 （2）    …    ops = get_cpu_ops(cpu);    if (ops->cpu_postboot)        ops->cpu_postboot();                           （3）    …    set_cpu_online(cpu, true);                             （4）    complete(&cpu_running);                                （5）    …    cpu_startup_entry(CPUHP_AP_ONLINE_IDLE);               （6）}

由于内核线程并没有用于地址空间，因此其active_mm通常指向上一个用户进程的地址空间。而cpu初始化时，由于之前并没有运行过用户进程，因此将其初始化为init_mm
idmap地址映射仅仅是用于mmu使能时地址空间的平滑切换，在mmu使能完成后已经没有作用。更进一步，由于idmap页表所使用的ttbr0_elx页表基地址寄存器，正常情况下是用于用户空间页表的，在调度器接管该cpu之前也必须要将其归还给用户空间
执行cpu_postboot回调
由secondary cpu已经启动成功，故将其设置为online状态
唤醒cpu hotplug线程
让cpu执行idle线程，其代码实现如下：

void cpu_startup_entry(enum cpuhp_state state){    arch_cpu_idle_prepare();    cpuhp_online_idle(state);    while (1)        do_idle();}

至此，cpu已经启动完成，并开始执行idle线程了。最后当然是要通知调度器，将该cpu的管理权限移交给调度器了。它是通过cpu hotplug的以下回调实现的：

static struct cpuhp_step cpuhp_hp_states[] = {  …  [CPUHP_AP_SCHED_STARTING] = {        .name   = "sched:starting",        .startup.single  = sched_cpu_starting,        .teardown.single = sched_cpu_dying,  }  …}

以下为该函数的实现：

int sched_cpu_starting(unsigned int cpu){  …  sched_rq_cpu_starting(cpu);        （1）  sched_tick_start(cpu);             （2）  …}

用于初始化负载均衡相关参数，此后该cpu就可以在其后的负载均衡流程中拉取进程
tick时钟是内核调度器的脉搏，启动了该时钟之后，cpu就会在时钟中断中执行调度操作，从而让cpu参与到系统的调度流程中

到这里我们就知道了spin-table这个流程。不得不说前辈对这个逻辑理解很清楚，这个内容的参考链接在文末，欢迎大家点击原文链接点赞。

小结

整个图来看看

最后这里补充一下一个使用自旋表作为启动方式的平台设备树cpu节点：

arch/arm64/boot/dts/xxx.dtsi:   cpu@0 {                        device_type = "cpu";                        compatible = "arm,armv8";                        reg = <0x0 0x000>;                        enable-method = "spin-table";                        cpu-release-addr = <0x1 0x0000fff8>;                };

spin-table方式的多核启动方式，顾名思义在于自旋，主处理器和从处理器上电都会启动，主处理器执行uboot畅通无阻，从处理器在spin_table_secondary_jump处wfe睡眠，主处理器通过修改设备树的cpu节点的cpu-release-addr属性为spin_table_cpu_release_addr，这是从处理器的释放地址所在的地方。

主处理器进入内核后，会通过smp_prepare_cpus函数调用spin-table 对应的cpu操作集的cpu_prepare方法从而在smp_spin_table_cpu_prepare函数中设置从处理器的释放地址为secondary_holding_pen这个内核函数，然后通过sev指令唤醒从处理器，从处理器继续从secondary_holding_pen开始执行（从处理器来到了内核的世界），发现secondary_holding_pen_release不是自己的处理编号，然后通过wfe继续睡眠。

当主处理器完成了大多数的内核组件的初始化之后，调用smp_init来来开始真正的启动从处理器，最终调用spin-table 对应的cpu操作集的cpu_boot方法从而在smp_spin_table_cpu_boot将需要启动的处理器的编号写入secondary_holding_pen_release中，然后再次sev指令唤醒从处理器，从处理器得以继续执行（设置自己异常向量表，初始化mmu等）。

最终在idle线程中执行wfi睡眠。其他从处理器也是同样的方式启动起来，同样最后进入各种idle进程执行wfi睡眠，主处理器继续往下进行内核初始化，直到启动init进程，后面多个处理器都被启动起来，都可以调度进程，多进程还会被均衡到多核。

问题

而启动流程中哪个cpu作为primary cpu可以任意指定？primary cpu如何任意指定的？启动的汇编代码中会通过cpu的affinity值获取当前cpu的id，然后将自身cpu id与指定cpu id进行比较，以确定当前cpu是否是primary cpu
cpu hotplug对于spintable是必须的吗？ spintable启动方式不支持cpu hotplug，只是在secondary 启动时复用了hotplug相同的流程，这部分代码默认是会被编译到内核中的

但是spin-table方式非常简单，但其只能被用于secondary cpu启动，功能比较单一。随着aarch64架构电源管理需求的增加（如cpu热插拔、cpu idle等），arm设计了一套标准的电源管理接口协议psci。该协议可以支持所有cpu相关的电源管理接口，而且由于电源相关操作是系统的关键功能，为了防止其被攻击，该协议将底层相关的实现都放到了secure空间，从而可提高系统的安全性。