1 基本流程

代码来自：https://github.com/bztsrc/raspi3-tutorial/tree/master/02_multicorec

Makefile的流程可以看到，和上一篇改动也不是很大。修改的内容有三点，首先还是之前的那两点：

1 编译器改成aarch64-linux-gnu-gcc，里面有-ffreestanding -nostdinc倒是不用再加参数。

2  -Wl,--hash-style=sysv，增加这个参数

还有一个就是这次增加了.c文件。

值得注意的就是增加了

SRCS = $(wildcard *.c)

OBJS = $(SRCS:.c=.o)

kernel8.img: start.o $(OBJS)

这里表示把所有的.c编译并连接到最终的镜像，这里的第三行是指明了依赖，只要有改动.c就会重新生成img。我以前写makefile好像就没加这个，导致都要手动操作。今天又学到了。

改完如下：

SRCS = $(wildcard *.c)
OBJS = $(SRCS:.c=.o)
CFLAGS = -Wall -O2 -ffreestanding -nostdinc -nostdlib -nostartfiles

all: clean kernel8.img

start.o: start.S
	aarch64-linux-gnu-gcc $(CFLAGS) -c start.S -o start.o

%.o: %.c
	aarch64-linux-gnu-gcc $(CFLAGS) -c $< -o $@

kernel8.img: start.o $(OBJS)
	aarch64-linux-gnu-gcc -nostdlib -nostartfiles -Wl,--hash-style=sysv start.o $(OBJS) -T link.ld -o kernel8.elf
	aarch64-linux-gnu-objcopy -O binary kernel8.elf kernel8.img

clean:
	rm kernel8.elf *.o >/dev/null 2>/dev/null || true

run:
	qemu-system-aarch64 -M raspi3b -kernel kernel8.img -d in_asm

之后就是很正常的编译就过了。有两个warning，但是不影响。

2 main.c

void main()
{
    while(1);
}

基本上也没什么内容。但是这个main会最后链接到img中。

3 link.ld

SECTIONS
{
    . = 0x80000;
    .text : { KEEP(*(.text.boot)) *(.text .text.* .gnu.linkonce.t*) }
    .rodata : { *(.rodata .rodata.* .gnu.linkonce.r*) }
    PROVIDE(_data = .);
    .data : { *(.data .data.* .gnu.linkonce.d*) }
    .bss (NOLOAD) : {
        . = ALIGN(16);
        __bss_start = .;
        *(.bss .bss.*)
        *(COMMON)
        __bss_end = .;
    }
    _end = .;

   /DISCARD/ : { *(.comment) *(.gnu*) *(.note*) *(.eh_frame*) }
}
__bss_size = (__bss_end - __bss_start)>>3;

link可以看到，这次增加了几个数据分区，rodata，text，data，bss。

BSS段的内容有(NOLOAD)，告诉objcopy，这一段在img中不占空间。ALIGN(16)是内存对齐。*(COMMON)兼容老式C编译器。

__bss_size = (__bss_end - __bss_start)>>3;这里的>>3表示除以8，因为每次循环清空 8 个字节（一个 64 位寄存器）。

4 start.S

改动最大的是strat.s

.section ".text.boot"

.global _start

_start:
    // read cpu id, stop slave cores
    mrs     x1, mpidr_el1
    and     x1, x1, #3
    cbz     x1, 2f
    // cpu id > 0, stop
1:  wfe
    b       1b
2:  // cpu id == 0

    // set top of stack just before our code (stack grows to a lower address per AAPCS64)
    ldr     x1, =_start
    mov     sp, x1

    // clear bss
    ldr     x1, =__bss_start
    ldr     w2, =__bss_size
3:  cbz     w2, 4f
    str     xzr, [x1], #8
    sub     w2, w2, #1
    cbnz    w2, 3b

    // jump to C code, should not return
4:  bl      main
    // for failsafe, halt this core too
    b       1b

代码说明说下：

多核运行：

// read cpu id, stop slave cores

mrs     x1, mpidr_el1    // 从寄存器mpidr_el1读取多核标识寄存器
and     x1, x1, #3       // 掩码操作，只保留最后两位（核心编号 0, 1, 2, 3）
cbz     x1, 2f           // 如果编号是 0，跳转到标签 2:（主核逻辑）

// cpu id > 0, stop
1:  wfe                  // 如果编号 > 0，执行 WFE（等待事件，低功耗睡眠）
    b       1b           // 睡眠醒来后继续跳回 1: 形成死循环

设置栈指针：

当发现CPU的id是0时到这里。

2:  ldr     x1, =_start  // 获取 _start 标签的地址（即 0x80000）
    mov     sp, x1       // 将这个地址赋给栈指针寄存器 SP

清空BSS

按照C语言规范，BSS的未初始化的全局变量必须清零，这部分实际上也是手动做的。

ldr     x1, =__bss_start  // 从链接脚本获取 BSS 段的起始地址
    ldr     w2, =__bss_size   // 从链接脚本获取 BSS 段的大小
3:  cbz     w2, 4f            // 如果大小为 0，跳过清零直接去 4:
    str     xzr, [x1], #8     // 将 64 位零寄存器 (xzr) 写入 x1 指向的内存，并将 x1 后移 8 字节
    sub     w2, w2, #1        // 计数器减 1
    cbnz    w2, 3b            // 如果计数器不为 0，继续循环

跳转到main

4:  bl      main    // Branch with Link：跳转到 main 函数，并把返回地址存在 lr 寄存器
    b       1b      // 万一 main 函数返回了（通常不应该），让 Core 0 也去睡眠死循环

5 运行

对kernel8.elf进行反汇编分析结果如下：

aarch64-linux-gnu-objdump -d kernel8.elf

kernel8.elf:     file format elf64-littleaarch64

Disassembly of section .text:

0000000000080000 <_start>:
   80000:       d53800a1        mrs     x1, mpidr_el1
   80004:       92400421        and     x1, x1, #0x3
   80008:       b4000061        cbz     x1, 80014 <_start+0x14>
   8000c:       d503205f        wfe
   80010:       17ffffff        b       8000c <_start+0xc>
   80014:       58000161        ldr     x1, 80040 <_start+0x40>
   80018:       9100003f        mov     sp, x1
   8001c:       58000161        ldr     x1, 80048 <_start+0x48>
   80020:       180000e2        ldr     w2, 8003c <_start+0x3c>
   80024:       34000082        cbz     w2, 80034 <_start+0x34>
   80028:       f800843f        str     xzr, [x1], #8
   8002c:       51000442        sub     w2, w2, #0x1
   80030:       35ffffa2        cbnz    w2, 80024 <_start+0x24>
   80034:       94000007        bl      80050 <main>
   80038:       17fffff5        b       8000c <_start+0xc>
   8003c:       00000000        .word   0x00000000
   80040:       00080000        .word   0x00080000
   80044:       00000000        .word   0x00000000
   80048:       00080250        .word   0x00080250
   8004c:       00000000        .word   0x00000000

0000000000080050 <main>:
   80050:       14000000        b       80050 <main>

运行结果如下：

tom@PC-20241221RKUQ:~/rp3/raspi3-tutorial/02_multicorec$ make run
qemu-system-aarch64 -M raspi3b -kernel kernel8.img -d in_asm
----------------
IN:
0x00000000:
OBJD-T: c0000058e1031faae2031faae3031faa8400005880001fd6

----------------
IN:
0x00080000:
OBJD-T: a10038d521044092610000b4

----------------
IN:
0x00080014:
OBJD-T: 610100583f00009161010058e200001882000034

----------------
IN:
0x00080034:
OBJD-T: 07000094

----------------
IN:
0x00080050:
OBJD-T: 00000014

----------------
IN:
0x00000300:
OBJD-T: 051b80d2a60038d5c60440925f2003d5a47866f8c4ffffb4

----------------
IN:
0x00000300:
OBJD-T: 051b80d2a60038d5c60440925f2003d5a47866f8c4ffffb4

----------------
IN:
0x0000030c:
OBJD-T: 5f2003d5a47866f8c4ffffb4

----------------
IN:
0x00000300:
OBJD-T: 051b80d2a60038d5c60440925f2003d5a47866f8c4ffffb4

----------------
IN:
0x0000030c:
OBJD-T: 5f2003d5a47866f8c4ffffb4

在0x80000地址时，机器码是a10038d521044092610000b4。

a1 00 38 d5对应读取 MPIDR_EL1 到 x1。
21 04 40 92：执行 and x1, x1, #3。
61 00 00 b4：执行 cbz x1, 2f。最后是运行到80008。

在0x80014，机器码是610100583f00009161010058e200001882000034。

61 01 00 58：这是 ldr x1, =_start。
3f 00 00 91：这是 mov sp, x1。C 语言需要的栈正式建立。
后面是加载 __bss_start 和 __bss_size 并开始循环清零。

在0x80034，机器码是07000094。

0x94000007就是对应的bl跳转指令，跳转到main。

后面的0x80050就是main执行后的返回，0x300是另外三个核心的异常。

此时查看多核的状态：

Core0运行在main。

其它核在wfe

最后，看了一下寄存器的状况。所有核心的寄存器类型是一样，但是数据不同，也就是说每个核的寄存器都是单独的。在这个例子中白色的部分就是变化的寄存器。