思享工具箱

使用PSCI机制的SMP启动分析

摘要：
（因此，在没有MMU的情况下，数据缓存也可以打开？）3SA1EL1堆栈指针对齐检查需要16字节对齐4SA01:EL0堆栈指针对齐检测，需要16字节的对齐5CP15BEN0:EL0在AArch32模式下运行时，CP15DMB、CP15DSB和CP15ISB7ITD0:EL0仍然可以在AAarch32模式下使用IT指令http://infocenter.arm.com/help/index.jsp?此指令在ARMv6中引入，用于切换当前CPU的大小。请参考：http://infocenter.arm.com/help/index.jsp?topic=/com.arm.doc.dui0489c/Cjacabbf.html9UMA0：当EL0在AArch64上运行并通过MRS或MSR指令访问DAIF时，它将落入EL112I1:EL0/1指令缓存不再受sctrl_El1控件控制。

 

使用PSCI机制的SMP启动分析第1张

 

其他core的入口

 

文件：arch/arm64/kernel/head.S

 

使用PSCI机制的SMP启动分析第2张 

 

secondary_entry：

在从bl31切到EL1上的Linux Kernel后：

第595行，在el2_setup中设置EL1和EL0为小端模式，然后将w0设置为BOOT_CPU_MODE_EL1，并返回

第596行，记录cpuX的启动模式到__boot_cpu_mode，目前是BOOT_CPU_MODE_EL1

 

secondary_startup：

第604行，__cpu_setup:

1、无效本地tlb

2、使能FP/ASIMD

3、设置mdscr_el1，在EL0访问Debug Communication Channel寄存器时，陷入EL1

4、操作daif，使能debug中断

5、设置pmuserenr_el0，当EL0访问PMU寄存器时会陷入EL1

6、填充mair_el1，设置后面要用到的内存属性索引，目前用到了6中内存属性：

使用PSCI机制的SMP启动分析第3张 

7、读取sctlr_el1，修改后存入x0，后面配置mmu时会用到x0的值：x0= (sctrl_el1 & ~0xfcffffff)|0x34d5d91d，即将控制大小端的bit保留（因为之前在el2_setup里设置过了），其他位清零，然后设置新值，新值的含义如下：

使用PSCI机制的SMP启动分析第4张 

从低位到高位依次说明:

0

M

1：表示开启EL1和EL0的stage1地址转换机制，目前因为用不到虚拟化，所有只有stage1

1

A

0：关闭地址对齐检查，但是load/store exclusive和load-acquire/store-release除外

2

C

1：EL0/1的data cache的控制不再由sctrl_el1控制，如果HCR_EL2.DC为1，那么EL0/1的data cache开启。（所以，不开MMU，数据cache也可以开？）

3

SA

1  EL1上栈指针对齐检查，需要16字节对齐

4

SA0

1：EL0上栈指针对齐检查，需要16字节对齐

5

CP15BEN

0：EL0运行在AArch32时，不能使用CP15DMB、CP15DSB以及CP15ISB

7

ITD

0：EL0运行在AArch32模式时，仍旧可以使用IT指令（IF-THEN）http://infocenter.arm.com/help/index.jsp?topic=/com.arm.doc.dui0489c/Cjabicci.html

8

SED

1：EL0运行在AArch32时，不能使用SEDEND指令。这个指令是在ARMv6引入的，用于切换当前cpu的大小端，请参考：http://infocenter.arm.com/help/index.jsp?topic=/com.arm.doc.dui0489c/Cjacabbf.html

9

UMA

0：在EL0运行在AArch64上通过MRS或MSR指令访问DAIF时会陷入EL1

12

I

1：EL0/1的指令cache不再由sctrl_el1控制。如果HCR_EL2.DC为1，那么EL0/1的指令 cache开启

14

DZE

1：EL0运行AArch64时，如果执行DC ZVA指令（清除指令虚拟地址的data cache），会陷入EL1.

15

UCT

1：EL0运行AArch64时，访问CTR_EL0时不会陷入EL1. 这个寄存器用于获取当前系统的cache的架构信息

16

nTWI

1: EL0上执行WFI时不会陷入EL1

18

nTWE

1: EL0上执行WFE时不会陷入EL1

19

WXN

0: 对EL1&0的内存访问权限没有影响。如果是1的话，在EL1&0下，如果某块内存具备可写权限，那么这块内存就是XN（Execute Never）

24

E0E

控制EL0数据访问的大小端控制，0小端，1大端

25

EE

控制EL1以及EL1/0的table walk时的大小端，0小端，1大端

26

UCI

1：EL0运行在AArch64时，如果执行DC CVAU/CIVAC/CVAC、IC IVAU时不会陷入EL1

 

8、设置TCR_EL1，用于建立1:1映射，目前配置的VA时48bit的：

 

[5:0]T0SZ64-48=16
[21:16]T1SZ64-48=16
[9:8]IRGN0, 使用TTBR0_EL1进行内存访问时的Inner cacheability1：Normal memory, Inner Write-Back Write-Allocate Cacheable
[25:24]IRGN1, 使用TTBR1_EL1进行内存访问时的Inner cacheability1：Normal memory, Inner Write-Back Write-Allocate Cacheable
[11:10]ORGN0, 使用TTBR0_EL1进行内存访问时的Outer cacheability1:Normal memory, Outer Write-Back Write-Allocate Cacheable
[27:26]ORGN1, 使用TTBR1_EL1进行内存访问时的Outer cacheability1:Normal memory, Outer Write-Back Write-Allocate Cacheable
[13:12]SH0, 使用TTBR0_EL1进行内存访问时的Shareability attribute3: Inner Shareable
[29:28]SH1, 使用TTBR1_EL1进行内存访问时的Shareability attribute3: Inner Shareable
[15:14]TG0, 使用TTBR0_EL1时的页大小0:4KB
[31:30]TG1, 使用TTBR1_EL1时的页大小0:4KB
[36]AS, 表示ASID的大小1:16bit
[37]TBI0, 在使用TTBR0_EL1做地址翻译时，是否忽略虚拟地址的高字节，如果不忽略的话，会被用来当tagged地址1：忽略高字节
[22]A1, 选择通过TTBR0_EL1或者TTBR1_EL1来定义ASID1：使用TTBR1_EL1.ASID来定义ASID
[34:32]IPS,物理地址大小通过读取ID_AA64MMFR0_EL1的获取当前系统的Physical Address range，然后将值写到这里，目前是48
 

第605行，__enable_mmu:

1、首先判断当前系统硬件是否支持4KB的粒度，是的话继续执行，否则stuck住

2、更新boot cpu的状态信息，即将__early_cpu_boot_status的值设置为0

3、将idmap_pg_dir赋值给ttbr0_el1

4、将swapper_pg_dir赋值给ttbr1_el1

5、将之前填充好的x0的值赋值给sctlr_el1

6、将icache无效

此时，mmu已经开启了，上面用到的两个页目录的内容在cpu0启动时已经填写好了，其他的core直接用。

 

__secondary_switched:

 

第611行，设置CPUx的异常向量表基地址为vectors

第615~619，设置CPUx的栈指针的值，这里用到的secondary_data的内容是在CPU0启动CPUx时赋值的。sp指向了idle task的栈顶地址，sp_el0指向idle task的task_struct首地址

第622，跳转到secondary_start_kernel

 

secondary_start_kernel：

 

使用PSCI机制的SMP启动分析第5张
第218，获取init_mm，后面会赋值给current->active_mm
第222，获取当前current任务所处的cpu编号，如果是cpu1的话，这里就返回1
第223，将cpuX在数组__per_cpu_offset中的对应项的地址&__per_cpu_offset[X]赋值给tpidr_el1
第229，增加init_mm的引用计数mm_count，因为所有的内核线程共享同一个mm_struct
第236，将ttbr0_el1赋值为empty_zero_page
使用PSCI机制的SMP启动分析第6张
第238，关闭当前CPU正在执行的task的抢占，这样当前cpu就只能被中断打断，不会切到其他进程
第254，获取当前cpu的各种硬件信息，比如arch_timer的频率、cache类型等等，将信息存放到一个per cpu的全局变量cpu_data中，此时会看到
            启动log里输出"Detected %s I-cache on CPU%d"。接着会将这些信息跟cpu0的进行比较，如果发现不合理的地方，
            会输出“Unsupported CPU feature variation detected.”
第259，通知之前注册的回调函数，会使能gic和timer。此时cpuX的中断还没有使能，并且cpu0还在__cpu_up()中等待，没有返回
            首先获取当前cpu的cpuhp_state，然后调用从（CPUHP_BRINGUP_CPU+1）到CPUHP_AP_ONLINE之间注册的bringup回调函数，这个结合后面cpu0唤醒cpuX的逻辑分析。
 
CPUHP_AP_IDLE_DEAD  
CPUHP_AP_OFFLINE  
CPUHP_AP_SCHED_STARTINGsched_cpu_starting 
CPUHP_AP_RCUTREE_DYING  
CPUHP_AP_IRQ_GIC_STARTINGgic_starting_cpu动态注册的
CPUHP_AP_ARM_VFP_STARTING  
CPUHP_AP_ARM64_DEBUG_MONITORS_STARTING  
CPUHP_AP_PERF_ARM_HW_BREAKPOINT_STARTING  
CPUHP_AP_PERF_ARM_STARTING  
CPUHP_AP_ARM_ARCH_TIMER_STARTINGarch_timer_starting_cpu动态注册
CPUHP_AP_ARM_GLOBAL_TIMER_STARTING  
CPUHP_AP_DUMMY_TIMER_STARTING  
CPUHP_AP_ARM_CORESIGHT_STARTING  
CPUHP_AP_ARM64_ISNDEP_STARTING  
CPUHP_AP_SMPCFD_DYING  
CPUHP_AP_ONLINE  

 

使用PSCI机制的SMP启动分析第7张
第261，读取mpdir_el1，如果是多核的话，获取当前cpu的thread id、core id以及cluster id。如果使能了DEBUG，那么会输出“CPU%u: cluster %d core %d thread %d mpidr %#016llx”

第270，设置secondary_data.status为CPU_BOOT_SUCCESS，后面cpu0醒来后，会根据这个标志判断cpuX是否启动正常

第271，设置__cpu_online_mask中当前cpu对应的bit，后面cpu0醒来后，会根据这个标志判断cpuX是否启动正常

第272，通知cpu0，可以继续往下运行了，此时cpu0在archarm64kernelsmp.c中调用完boot_secondary后，紧接着wait_for_completion_timeout(&cpu_running, msecs_to_jiffies(1000))

第274，开启本地中断

第275，使能SERROR中断

第280，执行cpu_startup_entry：

 

使用PSCI机制的SMP启动分析第8张
第371，arm没有实现
第372，将当前cpu的cpuhp_state的state设置为CPUHP_AP_ONLINE_IDLE，然后对done_up完成变量执行complete操作。这个是跟cpu0通信，cpu0在执行到bringup_cpu最后，完成唤醒操作后，会执行bringup_wait_for_ap(cpu)操作，它里面会调用wait_for_ap_thread(st, true)-->wait_for_completion(done)

第374，执行do_idle

 

 

CPU0启动以及PSCI初始化

设备树

psci：

 

使用PSCI机制的SMP启动分析第9张
cpu：
使用PSCI机制的SMP启动分析第10张
 

start_kernel：

1、smp_setup_processor_id(); 读取mpdir，获取当前cpu id，填写到cpu_logical_map(0)，输出"Booting Linux on physical CPU 0x%lx "
2、boot_cpu_init()：读取mpdir，填写set_cpu_online(0,true)/set_cpu_active(0, true)/set_cpu_present(0, true)/set_cpu_possible(0, true)，记录cpu号到__boot_cpu_id
3、setup_arch -> psci_dt_init: 调用psci_0_2_init，其中会跟bl31通信，并给psci_ops赋值
4、setup_arch -> cpu_read_bootcpu_ops(): 设置cpu_ops[0]为dt_supported_cpu_ops[1]，即cpu_psci_ops，其中[0]用于spin-table启动方式，目前我们用的是psci方式
使用PSCI机制的SMP启动分析第11张
其中cpu_psci_ops的定义如下：
使用PSCI机制的SMP启动分析第12张
5、setup_arch -> smp_init_cpus()，这个函数会接着调用of_parse_and_init_cpus，解析设备树的cpu节点，将解析出来的reg属性的值分
    别跟cpu_logical_map(0)/cpu_logical_map(1)/cpu_logical_map(2)/cpu_logical_map(3)映射起来，在解析到cpu0时，还会将bootcpu_valid设置为true。
                如果设备树中还指定了“numa-node-id”属性，那么还会属性的值跟cpu_to_node_map[cpu]映射起来，最后cpu_count记录实际解析到的cpu的个数。接着，smp_init_cpu对非boot cpu，依次调用smp_cpu_setup，在其中会设置cpu_ops[cpu]为cpu_psci_ops，然后调用cpu_ops[cpu]->cpu_init(cpu)，也就是上面的cpu_psci_cpu_init,在arm64平台上这是个空函数，最后设置set_cpu_possible(cpu, true)。此时其他core都还没有上电
6、setup_arch -> smp_build_mpidr_hash() 填充mpidr_hash结构，如果开了debug，那么会输出"MPIDR hash: aff0[%u] aff1[%u] aff2[%u] aff3[%u] mask[%#llx] bits[%u] "
7、smp_prepare_boot_cpu()：首先设置tpidr_el1为__per_cpu_offset[0]，接着调用jump_label_init，这个暂不分析。接着调用cpuinfo_store_boot_cpu，获取cpu0的
    各种硬件信息，存放到per_cpu变量cpu_data中（对于cpu0，还会将boot_cpu_data指向cpu0的cpu_data），这个在其他core起来后也会执行，
    但是boot cpu（即cpu0）的不同之处是，除了获取硬件信息之外，还会将这些信息设置到arm64_ftr_regs结构中，将来其他core起来后，会进行对比。最后，如果
    使能了VHE，那么还会根据kernel是否处于EL2,来设置boot_cpu_hyp_mode为true或者false
8、boot_cpu_hotplug_init：设置cpu0的cpuhp_state.booted_once为true，同时将cpu0的cpuhp_state.state设置为CPUHP_ONLINE
9、init_IRQ()：设置中断栈，调用of_irq_init初始化中断控制器，其中会注册CPUHP_AP_IRQ_GIC_STARTING的回调函数gic_starting_cpu
10、time_init()：会调用到driversclocksourcearm_arch_timer.c中的arch_timer_of_init，注册CPUHP_AP_ARM_ARCH_TIMER_STARTING的回调函数arch_timer_starting_cpu

 

下面进入rest_init：

在这个函数里先后创建个内核线程kernel_init和kthreadd，然后在kernel_init中会wait_for_completion(&kthreadd_done)，当主流程准备就绪后，设置system_state为SYSTEM_SCHEDULING，

然后主流程会complete(&kthreadd_done)，在主流程的最后，会执行cpu_startup_entry(CPUHP_ONLINE)，在前面非boot cpu的启动分析中，最后也会执行cpu_startup_entry，不过它传递的cpu状态是CPUHP_AP_ONLINE_IDLE

下面重点分析kernel_init：

在执行这个内核线程是，使用的仍然是cpu0，因为当前系统中也只有cpu0.

使用PSCI机制的SMP启动分析第13张
 

第1058，smp_prepare_cpus，首先调用init_cpu_topology，解析当前/cpus节点以及下面的cpu-map子节点，填充cpu_topology[cpu]，得到系统cpu的拓扑关系，然后

            调用set_sched_topology设置sched_domain_topology为arm64_topology。如果没有从设备树里cpu-map获得拓扑关系，smp_prepare_cpus会调用store_cpu_topology来

            设置cpu_topology[0]的内容。最后，这个函数会遍历当前所有cpu，设置per_cpu变量cpu_number为cpu编号，然后cpu_ops[cpu]->cpu_prepare(cpu)，如果成功的话，

             设置set_cpu_present(cpu, true)

第1064，do_pre_smp_initcalls：执行__initcall_start到__initcall0_start之间的回调函数

第1067，smp_init：这个函数就是cpu0唤醒其他core的地方，重点分析

 

smp_init:

 

使用PSCI机制的SMP启动分析第14张
第568，idle_threads_init，为每个非boot cpu都各fork一个idle task，将获得的task_struct记录到per_cpu变量idle_threads中
第569，cpuhp_threads_init，为每个core都创建一个"cpuhp/%u"内核线程，结果记录在per_cpu变量cpuhp_state.thread中，然后启动当前cpu的"cpuhp/%u"线程："cpuhp/0"

第574~579，遍历cpu，如果cpu没有online（cpu_online_mask），那么调用cpu_on(cpu)

 

下面重点分析cpu_on:

 

使用PSCI机制的SMP启动分析第15张
上面第二个参数表示target status，表示需要将第一个参数表示的cpu，唤醒，并达到指定的状态，目前cpu0就是处于CPUHP_ONLINE，这是cpu正常工作时的状态
这个函数会继续调用_cpu_up(cpu, 0, target)：
1、检查cpu_present(cpu)，正常情况下，为1
2、如果待唤醒的cpu的cpuhp_state.state大于target表示的状态，那么直接返回。数值越大，表示cpu越接近CPUHP_ONLINE，既然是bring up，那么当然是将state变大为目标
下面是cpu状态切换的状态图：
使用PSCI机制的SMP启动分析第16张
 
上图左边是cpu up时的状态切换：OFFLINE -> BRINGUP_CPU -> AP_OFFLINE -> AP_ONLINE  -> AP_ACTIVE
3、如果待处理cpu的当前状态是CPUHP_OFFLINE，那么要先获取该cpu的idle task结构，由于该cpu目前还没有上电，自然属于这种
4、调用cpuhp_set_state(st, target)，设置待唤醒cpu的目标状态为CPUHP_ONLINE，如果当前状态小于target，将bringup设置为1，表示要执行up操作，返回的是当前状态
使用PSCI机制的SMP启动分析第17张
 

4、如果待处理cpu的当前状态大于CPUHP_BRINGUP_CPU，那么会执行cpuhp_kick_ap_work(cpu)。

5、下面的唤醒步骤分两个阶段，首先从OFFLINE到CPUHP_BRINGUP_CPU，然后剩下从CPUHP_BRINGUP_CPU到CPUHP_ONLINE则通过AP hotplug thread进行，这个线程就是上面创建的"cpuhp/0"，

        它的task_struct存放在per_cpu变量cpuhp_state.thread中

 

下面是从OFFLINE->CPUHP_BRINGUP_CPU:

使用PSCI机制的SMP启动分析第18张

下面分析cpuhp_up_callbacks：

使用PSCI机制的SMP启动分析第19张
在从OFFLINE->CPUHP_BRINGUP_CPU的切换过程中，每一步切换，都会调用cpuhp_invoke_callback完成：
在该函数中，首先通过调用cpuhp_get_step(state)获取state对应的cpuhp_step结构，内核在kernelcpu.c里提供了两个cpuhp_state数组：cpuhp_ap_states和cpuhp_bp_states，内核在这两个数组中内置了一些初始的回调函数，也为动态注册留出了位置，可以使用includelinuxcpuhotplug.h中提供的API进行注册。如果当前状态小于CPUHP_BRINGUP_CPU并且不等于CPUHP_TEARDOWN_CPU时，使用的是cpuhp_bp_states，否则使用cpuhp_ap_states。所以，对于OFFLINE->CPUHP_BRINGUP_CPU，使用的是cpuhp_bp_states。

在获得cpuhp_step结构后，先判断该step是否支持multi_instance，如果不支持的话，对于bringup操作，会回调step->startup.single(cpu),否则回调step->teardown.single(cpu).对于支持multi_instance的step，会遍历step->list，对于bringup，回调step->startup.multi(cpu,node)，其中node就是从step->list遍历得到的，否则回调step->teardown.multi(cpu,node)。

 

下面是cpuhp_bp_states中涉及到的回调：

 

CPUHP_CREATE_THREADSsmpboot_create_threads遍历hotplug_threads，对没有创建task的
CPUHP_PERF_PREPAREperf_event_init_cpu 
CPUHP_WORKQUEUE_PREPworkqueue_prepare_cpu 
CPUHP_HRTIMERS_PREPAREhrtimers_prepare_cpu 
CPUHP_SMPCFD_PREPAREsmpcfd_prepare_cpu 
CPUHP_RELAY_PREPARErelay_prepare_cpu 
CPUHP_SLAB_PREPAREslab_prepare_cpu 
CPUHP_RCUTREE_PREPrcutree_prepare_cpu 
CPUHP_TIMERS_PREPAREtimers_prepare_cpu 
CPUHP_BRINGUP_CPUbringup_cpu 

bringup_cpu：

 

使用PSCI机制的SMP启动分析第20张
第518，获取指定cpu的idle task进程描述符
第529，调用__cpu_up(cpu, idle)，这里的cpu表示要唤醒的cpu，idle用于为刚唤醒的cpu提供栈空间。具体过程如下：
    1、将idle赋值给secondary_data.task
    2、将task_stack_page(idle) + THREAD_SIZE赋值给secondary_data.stack，cpuX唤醒后会使用这个栈，参考之前的分析
    3、将CPU_MMU_OFF赋值给secondary_data.status，在cpuX唤醒后，会修改这个值，然后cpu0会根据这个值判断cpuX是否正常
    4、调用cpu_ops[cpu]->cpu_boot(cpu)，这里的cpu_ops是cpu_psci_cpu_init，cpu_boot是cpu_psci_cpu_boot，这个函数会执行
psci_ops.cpu_on(cpu_logical_map(cpu), __pa_symbol(secondary_entry))

           cpu_on是在driversfirmwarepsci.c赋值的：

使用PSCI机制的SMP启动分析第21张
使用PSCI机制的SMP启动分析第22张
        上面会通过smc调用陷入bl31，然后cpuX在从EL3回到EL1时，就会从__pa_symbol(secondary_entry)开始运行，不过此时cpuX的MMU还没有开启，用的是物理地址

            5、如果上面返回成功，那么cpu0调用wait_for_completion_timeout(&cpu_running,msecs_to_jiffies(1000));  根据前面的分析，当cpuX醒来之后，会complete这里的cpu_running

            6、调用cpu_online(cpu)检查cpuX是否成功online

            7、读取READ_ONCE(secondary_data.status)，然后判断cpuX是否正常

第533，bringup_wait_for_ap(cpu)：

            1、调用wait_for_ap_thread(st, true)，因为是bringup，所以会wait_for_completion(&st->done_up)。在cpuX唤醒后，执行idle任务之前会complete该变量

            2、stop_machine_unpark(cpu);

            3、kthread_unpark(st->thread)，这里的st->thread是"cpuhp/0"，是在cpuhp_threads_init中初始化的

            4、如果st->target小于等于CPUHP_AP_ONLINE_IDLE，那么这个函数的任务就完成了，但是对于这里，target的值是CPUHP_ONLINE

            5、调用cpuhp_kick_ap(st, st->target)，这个函数进一步调用__cpuhp_kick_ap(st)：

 

使用PSCI机制的SMP启动分析第23张
            6、设置st->shoule_run为true
            7、在__cpuhp_kick_ap中会唤醒st->thread，此时smpboot_thread_fn开始在cpuX上开始运行，并检查st->shoule_run为true，这样cpuhp_thread_fun被
                  smpboot_thread_fn回调，这个线程负责cpuX第二个阶段的状态切换，在cpuX唤醒后，会进入CPUHP_AP_ONLINE_IDLE，所以完成从CPUHP_AP_ONLINE_IDLE->CPUHP_ONLINE
            8、wait_for_completion(&st->done_up)，在st->thread中会complete该变量

cpuhp_thread_fun：

使用PSCI机制的SMP启动分析第24张

 

1、比较cpuX的当前状态和目标状态，如果小于目标状态，那么设置st->should为true，这样这个函数返回后，还会被smpboot_thread_fn继续回调

2、调用st->result = cpuhp_invoke_callback(cpu, state, bringup, st->node, &st->last);

3、如果上个函数返回失败，设置st->should_run = false

4、如果st->should_run为false，那么调用complete_ap_thread(st, bringup)，如果是bringup，这个函数会complete(&st->done_up)。即：在正常情况下，

        如果当前状态达不到target状态，那么st->should_run一直为true，只有达到target，才会complete(&st->done_up)。别忘了，此时cpu0还在wait呢

 

第二阶段从CPUHP_AP_ONLINE_IDLE->CPUHP_ONLINE，下面的函数会被调用，这些函数位于cpuhp_ap_states中：

CPUHP_AP_SMPBOOT_THREADSsmpboot_unpark_threads 
CPUHP_AP_IRQ_AFFINITY_ONLINEirq_affinity_online_cpu 
CPUHP_AP_PERF_ONLINEperf_event_init_cpu 
CPUHP_AP_WORKQUEUE_ONLINEworkqueue_online_cpu 
CPUHP_AP_RCUTREE_ONLINErcutree_online_cpu 
CPUHP_AP_ACTIVEsched_cpu_activate 
CPUHP_ONLINENULL 
 
 
SMP启动log

 

下面是多核启动时的log，有助于我们理解上面的分析过程：（log中<cpu_id 进程name：进程id>）

 

[    0.117936] <0  swapper/0:1> smp: Bringing up secondary CPUs ...
[    0.118893] <0  swapper/0:1> smpboot_create_threads, cpu: 1
[    0.140551] <0  swapper/0:1> perf_event_init_cpu, cpu: 1
[    0.140958] <0  swapper/0:1> workqueue_prepare_cpu, cpu: 1
[    0.149409] <0  swapper/0:1> hrtimers_prepare_cpu, cpu: 1
[    0.149555] <0  swapper/0:1> smpcfd_prepare_cpu, cpu: 1
[    0.149780] <0  swapper/0:1> rcutree_prepare_cpu, cpu: 1
[    0.150696] <0  swapper/0:1> timers_prepare_cpu, cpu: 1
[    0.150999] <0  swapper/0:1> bringup_cpu, cpu: 1
[    0.152518] <1  swapper/1:0> Detected PIPT I-cache on CPU1
[    0.153478] <1  swapper/1:0> sched_cpu_starting, cpu: 1
[    0.153575] <1  swapper/1:0> GICv3: CPU1: found redistributor 1 region 0:0x00000000080c0000
[    0.153849] <1  swapper/1:0> CPU1: cluster 0 core 1 thread -1 mpidr 0x00000080000001
[    0.153955] <1  swapper/1:0> CPU1: Booted secondary processor [410fd083]
[    0.157031] <1    cpuhp/1:13> smpboot_unpark_threads, cpu: 1
[    0.158684] <1    cpuhp/1:13> irq_affinity_online_cpu, cpu: 1
[    0.158999] <1    cpuhp/1:13> perf_event_init_cpu, cpu: 1
[    0.159236] <1    cpuhp/1:13> workqueue_online_cpu, cpu: 1
[    0.160831] <1    cpuhp/1:13> rcutree_online_cpu, cpu: 1
[    0.161322] <1    cpuhp/1:13> sched_cpu_activate, cpu: 1
[    0.162781] <0  swapper/0:1> smpboot_create_threads, cpu: 2
[    0.185357] <0  swapper/0:1> perf_event_init_cpu, cpu: 2
[    0.185528] <0  swapper/0:1> workqueue_prepare_cpu, cpu: 2
[    0.193720] <0  swapper/0:1> hrtimers_prepare_cpu, cpu: 2
[    0.193829] <0  swapper/0:1> smpcfd_prepare_cpu, cpu: 2
[    0.193951] <0  swapper/0:1> rcutree_prepare_cpu, cpu: 2
[    0.194451] <0  swapper/0:1> timers_prepare_cpu, cpu: 2
[    0.194583] <0  swapper/0:1> bringup_cpu, cpu: 2
[    0.194853] <2  swapper/2:0> Detected PIPT I-cache on CPU2
[    0.194970] <2  swapper/2:0> sched_cpu_starting, cpu: 2
[    0.195027] <2  swapper/2:0> GICv3: CPU2: found redistributor 2 region 0:0x00000000080e0000
[    0.195198] <2  swapper/2:0> CPU2: cluster 0 core 2 thread -1 mpidr 0x00000080000002
[    0.195269] <2  swapper/2:0> CPU2: Booted secondary processor [410fd083]
[    0.195899] <2    cpuhp/2:18> smpboot_unpark_threads, cpu: 2
[    0.196294] <2    cpuhp/2:18> irq_affinity_online_cpu, cpu: 2
[    0.196426] <2    cpuhp/2:18> perf_event_init_cpu, cpu: 2
[    0.196594] <2    cpuhp/2:18> workqueue_online_cpu, cpu: 2
[    0.197099] <2    cpuhp/2:18> rcutree_online_cpu, cpu: 2
[    0.197325] <2    cpuhp/2:18> sched_cpu_activate, cpu: 2
[    0.197811] <0  swapper/0:1> smpboot_create_threads, cpu: 3
[    0.220870] <0  swapper/0:1> perf_event_init_cpu, cpu: 3
[    0.221065] <0  swapper/0:1> workqueue_prepare_cpu, cpu: 3
[    0.229439] <0  swapper/0:1> hrtimers_prepare_cpu, cpu: 3
[    0.229550] <0  swapper/0:1> smpcfd_prepare_cpu, cpu: 3
[    0.229675] <0  swapper/0:1> rcutree_prepare_cpu, cpu: 3
[    0.230062] <0  swapper/0:1> timers_prepare_cpu, cpu: 3
[    0.230195] <0  swapper/0:1> bringup_cpu, cpu: 3
[    0.230439] <3  swapper/3:0> Detected PIPT I-cache on CPU3
[    0.230549] <3  swapper/3:0> sched_cpu_starting, cpu: 3
[    0.230604] <3  swapper/3:0> GICv3: CPU3: found redistributor 3 region 0:0x0000000008100000
[    0.230767] <3  swapper/3:0> CPU3: cluster 0 core 3 thread -1 mpidr 0x00000080000003
[    0.230907] <3  swapper/3:0> CPU3: Booted secondary processor [410fd083]
[    0.231723] <3    cpuhp/3:23> smpboot_unpark_threads, cpu: 3
[    0.232132] <3    cpuhp/3:23> irq_affinity_online_cpu, cpu: 3
[    0.232266] <3    cpuhp/3:23> perf_event_init_cpu, cpu: 3
[    0.232439] <3    cpuhp/3:23> workqueue_online_cpu, cpu: 3
[    0.232941] <3    cpuhp/3:23> rcutree_online_cpu, cpu: 3
[    0.233179] <3    cpuhp/3:23> sched_cpu_activate, cpu: 3
[    0.233572] <0  swapper/0:1> smp: Brought up 1 node, 4 CPUs
[    0.233680] <0  swapper/0:1> SMP: Total of 4 processors activated.
 
完。
 
 
 
 

标签：#cpu参数#函数调用#perf#arch | 浏览：468 | 发布日期：

免责声明：文章转载自《使用PSCI机制的SMP启动分析》仅用于学习参考。如对内容有疑问，请及时联系本站处理。

上篇phalcon的一些中文手册和帮助文档地址收集内存之RAM、SRAM、DRAM、ROM、FLASH、SDRAM、DDR*下篇

宿迁高防，2C2G15M，22元/月；香港BGP，2C5G5M，25元/月 雨云优惠码：MjYwNzM=

相关文章

Ogre 渲染队列（二）

转自：http://www.cnblogs.com/cppguru/archive/2009/11/25/1610626.html 简要说Ogre渲染主流程分三步使用渲染队列：清空、构造和访问，这个过程在每一帧的绘制过程中重复执行。 渲染队列的清空 Ogre在每一帧渲染前都会先清空渲染队列。熟悉Ogre渲染流程的很容易看到在SceneManager::_r...

Qt --- 信号槽：第五个参数

connect第五个参数说明： 1、Qt::AutoConnection： 默认值，使用这个值则连接类型会在信号发送时决定。如果接收者和发送者在同一个线程，则自动使用Qt::DirectConnection类型。如果接收者和发送者不在一个线程，则自动使用Qt::QueuedConnection类型。 2、Qt::DirectConnection：槽函数会在...

MFC位图按钮

下载source VC++ demo project - 43.8 Kb 下载sample demo executable - 25.3 Kb 介绍 CCustomBitmapButton是一个派生自CWnd类的MFC控件。这个按钮有两个部分:一个背景和一个前景。如果WinXP和XP操作系统启用了主题,背景是一个位图加载从当前活跃的主题资源文件(我使用...

[ 伪装 ] 修改User-Agent伪装浏览器信息操作系统

0x00.了解User-Agent（UA）字符串 　　浏览器在浏览网页时，会将本机的浏览器信息通过请求头中的User-Agent（UA）字符串发送到web服务器。 UserAgent | Introduce 用户代理 User Agent，是指浏览器,它的信息包括硬件平台、系统软件、应用软件和用户个人偏好。 早的时候有一个浏览器叫NCSA Mosaic，...

[译]GPUView

【本文翻译自GPUView的开发者Matt的blog.  https://graphics.stanford.edu/~mdfisher/GPUView.html  】 【 GPUview可以在 https://docs.microsoft.com/en-us/windows-hardware/get-started/adk-install 这里下载到】...

MFC浅析(7) CWnd类虚函数的调用时机、缺省实现 .

1. Create2. PreCreateWindow3. PreSubclassWindow4. PreTranslateMessage5. WindowProc6. OnCommand7. OnNotify8. OnChildNotify9. DefWindowProc10. DestroyWindow11. PostNcDestroyCWnd作为MF...

最新文章

随机推荐

思享工具箱导航