ARM Linux 内核 panic 之cache 一致性 ——Cortex-A9多核cache和TLB一致性广播

ARM Linux 内核 panic 之cache 一致性 ——Cortex-A9多核cache和TLB一致性广播

 

Cortex-A9的多喝CPU可以接收和执行一致性广播操作，当其使能并处于SMP模式时。本文以内核的panic为例，在给出内核panic后的真正原因后，讨论Cortex-A9多核的cache和TLB的一致性广播，实际使用中应该怎么设置。

 

1 多核启动android失败

内核版本：3.0.15           CPU：Freescale Imx6Q（Cortex-A9四核）

芯片特点：支持ARM TrustZone

操作步骤：主核CPU0以Secure模式启动后，切换到NS模式，然后启动内核。内核启动其它的三个CPU，它们也会切换到NS模式，最后启动Android系统。

但是启动失败了，后来发现内核只是panic，并没有彻底死机。为了确认panic后的状态，在内核的 arch/arm/kernel/smp.c文件，do_local_timer函数中，打印CPU的ID和时钟节拍，发现panic后，这个中断患有，信息还可以打印出来。

原始日志如下：

[   24.707074] request_suspend_state: wakeup (3->0) at 24564020006 (1970-01-02 00:14:26.233322336 UTC)

[   24.719704] in panic, line:75     cpu:3

[   24.726012] Kernel panic - not syncing: Attempted to kill init!

[   24.732338] [<c004c65c>] (unwind_backtrace+0x0/0xfc) from [<c05633a0>] (panic+0x88/0x1b4)

[   24.740586] [<c05633a0>] (panic+0x88/0x1b4) from [<c0076c60>] (do_exit+0x664/0x710)

[   24.748278] [<c0076c60>] (do_exit+0x664/0x710) from [<c0076d48>] (do_group_exit+0x3c/0xbc)

[   24.756581] [<c0076d48>] (do_group_exit+0x3c/0xbc) from [<c0082918>] (get_signal_to_deliver+0x1f8/0x430)

[   24.766107] [<c0082918>] (get_signal_to_deliver+0x1f8/0x430) from [<c0048fec>] (do_signal+0x94/0x534)

[   24.775440] [<c0048fec>] (do_signal+0x94/0x534) from [<c00494c4>] (do_notify_resume+0x38/0x44)

[   24.784162] [<c00494c4>] (do_notify_resume+0x38/0x44) from [<c0046698>] (work_pending+0x24/0x28)

[   24.792971] CPU1: stopping

[   24.795700] [<c004c65c>] (unwind_backtrace+0x0/0xfc) from [<c00402d4>] (do_IPI+0x188/0x1bc)

[   24.804064] [<c00402d4>] (do_IPI+0x188/0x1bc) from [<c004608c>] (__irq_svc+0x4c/0xe8)

[   24.811895] Exception stack(0xd7551d78 to 0xd7551dc0)

[   24.816948] 1d60:                                                       4657775f 00000001

[   24.825130] 1d80: 00000101 00000101 cbf48cc0 d6c4a758 40464000 cbecaee0 4657775f d6c0d190

[   24.833313] 1da0: c07dde00 0004a466 c0771c80 d7551dc0 c00de290 c0050688 60000113 ffffffff

[   24.841505] [<c004608c>] (__irq_svc+0x4c/0xe8) from [<c0050688>] (__sync_icache_dcache+0x14/0xa0)

[   24.850385] [<c0050688>] (__sync_icache_dcache+0x14/0xa0) from [<d6c0d000>] (0xd6c0d000)

[   24.858482] CPU0: stopping

[   24.861209] [<c004c65c>] (unwind_backtrace+0x0/0xfc) from [<c00402d4>] (do_IPI+0x188/0x1bc)

[   24.869573] [<c00402d4>] (do_IPI+0x188/0x1bc) from [<c004608c>] (__irq_svc+0x4c/0xe8)

[   24.877405] Exception stack(0xd752bec8 to 0xd752bf10)

[   24.882460] bec0:                   d7610180 00100073 00000000 00000000 d7610180 00000000

[   24.890642] bee0: 4ae957df d76cf208 cbaed9ec 40083000 d6739000 40082fff 00000001 d752bf10

[   24.898821] bf00: c00e5d80 c00e5d80 60000013 ffffffff

[   24.903884] [<c004608c>] (__irq_svc+0x4c/0xe8) from [<c00e5d80>] (mprotect_fixup+0x318/0x410)

[   24.912417] [<c00e5d80>] (mprotect_fixup+0x318/0x410) from [<c00e5f94>] (sys_mprotect+0x11c/0x1c0)

[   24.921385] [<c00e5f94>] (sys_mprotect+0x11c/0x1c0) from [<c0046640>] (ret_fast_syscall+0x0/0x30)

[   24.930264] CPU2: stopping

[   24.932988] [<c004c65c>] (unwind_backtrace+0x0/0xfc) from [<c00402d4>] (do_IPI+0x188/0x1bc)

[   24.941349] [<c00402d4>] (do_IPI+0x188/0x1bc) from [<c0046328>] (__irq_usr+0x48/0xe0)

[   24.949181] Exception stack(0xd75e9fb0 to 0xd75e9ff8)

[   24.954236] 9fa0:                                     405923ec 401d9688 01010101 07000000

[   24.962418] 9fc0: 78635f5f 5f5f0076 4058ecb4 4058e344 40590bd4 401d9686 401d9686 40238a60

[   24.970598] 9fe0: 00005f5f becb84a8 b0003c5b b0001774 60000010 ffffffff

[   25.073049] in do_local_timer, line:453  cpu:3

[   26.073044] in do_local_timer, line:453    cpu:3

跟踪内核发现，这个panic的执行流程是这样的。

work_pending -> do_notify_resume -> do_signal -> get_signal_to_deliver -> do_group_exit -> 

do_exit -> exit_notify -> forget_original_parent -> find_new_reaper -> panic("Attempted to kill init!");

涉及到线程、进程的退出，以及线程父子之间的关系，暂时无法分析出来。

怎么会走到kill init这一步，考虑到是多核环境下出现的，则尝试改为单核启动系统，然后再手动启动其它CPU，见下节描述。

2 手动启动其它的CPU

单核启动Android不死机，此时手动用命令启动其它CPU。

echo 1 > /sys/devices/system/cpu/cpu1/online

这样CPU1就可以起来，一段时间后，内核又panic了，日志如下。

[   88.604151] XXXXXXXXXX  in panic, line:75        cpu:0

[   88.610321] Kernel panic - not syncing: Attempted to kill init!    

[   88.619172] [<c004c65c>] (unwind_backtrace+0x0/0xfc) from [<c05633a0>] (panic+0x88/0x1b4)

[   88.627741] [<c05633a0>] (panic+0x88/0x1b4) from [<c0076c60>] (do_exit+0x664/0x710)

[   88.635424] [<c0076c60>] (do_exit+0x664/0x710) from [<c0076d48>] (do_group_exit+0x3c/0xbc)

[   88.643713] [<c0076d48>] (do_group_exit+0x3c/0xbc) from [<c0082918>] (get_signal_to_deliver+0x1f8/0x430)

root@android:/ # [   88.653215] [<c0082918>] (get_signal_to_deliver+0x1f8/0x430) from [<c0048fec>] (do_signal+0x94/0x534)

[   88.663905] [<c0048fec>] (do_signal+0x94/0x534) from [<c00494c4>] (do_notify_resume+0x38/0x44)

[   88.672545] [<c00494c4>] (do_notify_resume+0x38/0x44) from [<c0046698>] (work_pending+0x24/0x28)

[   88.681352] CPU1: stopping

[   88.684082] [<c004c65c>] (unwind_backtrace+0x0/0xfc) from [<c00402d4>] (do_IPI+0x188/0x1bc)

[   88.692449] [<c00402d4>] (do_IPI+0x188/0x1bc) from [<c004608c>] (__irq_svc+0x4c/0xe8)

[   88.700281] Exception stack(0xd2cf1f90 to 0xd2cf1fd8)

[   88.705337] 1f80:                                     00000020 c0771aa4 d2cf1fd8 00000000

[   88.713520] 1fa0: d2cf0000 c07d0624 c0567c74 c077a0f4 1000406a 412fc09a 00000000 00000000

[   88.721702] 1fc0: 00000001 d2cf1fd8 c0053aec c00471dc 60000013 ffffffff

[   88.728328] [<c004608c>] (__irq_svc+0x4c/0xe8) from [<c00471dc>] (default_idle+0x24/0x28)

[   88.736514] [<c00471dc>] (default_idle+0x24/0x28) from [<c00475b4>] (cpu_idle+0xbc/0xfc)

[   88.744612] [<c00475b4>] (cpu_idle+0xbc/0xfc) from [<10560094>] (0x10560094)

[   89.321214] in do_local_timer, line:453    cpu:0

[   90.291213] in do_local_timer, line:453    cpu:0

[   91.291213] in do_local_timer, line:453    cpu:0

panic的信息跟上一节是一样的，都是按照那样的流程，最后走入了kill init那一步。

3 为何多核SMP会panic

既然能够定位到是多核导致的，只能将多核相关的寄存器仔细查看了。

3.1 NS访问控制寄存器

NSACR寄存器的描述如下图所示。这个寄存器在S模式是可以读写的，NS模式则为只读。

它的NS_SMP位可以决定NS模式下，能否修改辅助控制寄存器的SMP位。

 

3.2 辅助控制寄存器

辅助控制寄存器如下所述，相关的是。

一致性模式，SMP或者AMP；

广播cache、分支预测、TLB的一致性操作。

S模式下可以读写；

NS下只读，若NSACR.NS_SMP是0；若这个位变成1，则NS下可以读写，这种情况下，其它位都是写忽略的，除了SMP位。

 

根据这个寄存器的描述，就是不管是否设置了它的FW位，它都可以从同簇的其它CPU那里，发送或者接收对内部共享的写回、写分配的一致性请求。

言外之意：我的理解是，若是设置了SMP bit，则必须设置FW bit。

基于这个推测，结合上面这个寄存器的描述，CPU这样设置。

在S模式，首先设置NSACR的NS_SMP位是1，然后设置辅助控制寄存器的SMP、FW位也是1，这样切换到NS模式后，也能修改辅助控制寄存器的SMP位，而它的FW位也是1。

经过这样设置，多核启动Android成功了，系统没有再出现panic。

4 后续问题怎么解决 

上面的问题，是在定位到是多核导致后，经过修改寄存器，然后解决的。

至于怎么根据panic的Kill init信息去跟踪，然后推导出是cache一致性没有处理好，最后内核奔溃的，没有好的思路。

就是出现 Kernel panic - not syncing: Attempted to kill init!

这个问题还是没有找到根本的解决思路。