嵌入式Linux內(nèi)核移植相關(guān)代碼分析

本文通過整理之前研發(fā)的一個(gè)項(xiàng)目(ARM7TDMI +uCLinux)，分析內(nèi)核啟動(dòng)過程及需要修改的文件，以供內(nèi)核移植者參考。整理過程中也同時(shí)參考了眾多網(wǎng)友的帖子，在此謝過。由于整理過程匆忙，難免錯(cuò)誤及講解的不夠清楚之處，請(qǐng)各位網(wǎng)友指正，這里提前謝過。本文分以下部分進(jìn)行介紹：
1. Bootloader及內(nèi)核解壓
2. 內(nèi)核啟動(dòng)方式介紹
3. 內(nèi)核啟動(dòng)地址的確定
4. arch/armnommu/kernel/head-armv.S分析
5. start_kernel()函數(shù)分析

1. Bootloader及內(nèi)核解壓
Bootloader將內(nèi)核加載到內(nèi)存中，設(shè)定一些寄存器，然后將控制權(quán)交由內(nèi)核，該過程中，關(guān)閉MMU功能。通常，內(nèi)核都是以壓縮的方式存放，如zImage，這里有兩種解壓方法：
使用內(nèi)核自解壓程序。
arch/arm/boot/compressed/head.S或arch/arm/boot/compressed/head-xxxxx.S
arch/arm/boot/compressed/misc.c
在Bootloader中增加解壓功能。
使用該方法時(shí)內(nèi)核不需要帶有自解壓功能，而使用Bootloader中的解壓程序代替內(nèi)核自解壓程序。其工作過程與內(nèi)核自解壓過程相似：Bootloader把壓縮方式的內(nèi)核解壓到內(nèi)存中，然后跳轉(zhuǎn)到內(nèi)核入口處開始執(zhí)行。

2. 幾種內(nèi)核啟動(dòng)方式介紹
XIP (EXECUTE IN PLACE) 是指直接從存放代碼的位置上啟動(dòng)運(yùn)行。
2.1 非壓縮，非XIP
非XIP方式是指在運(yùn)行之前需對(duì)代碼進(jìn)行重定位。該類型的內(nèi)核以非壓縮方式存放在Flash中，啟動(dòng)時(shí)由Bootloader加載到內(nèi)存后運(yùn)行。
2.2 非壓縮，XIP
該類型的內(nèi)核以非壓縮格式存放在ROM/Flash中，不需要加載到內(nèi)存就能運(yùn)行，Bootloader直接跳轉(zhuǎn)到其存放地址執(zhí)行。Data段復(fù)制和BSS段清零的工作由內(nèi)核自己完成。這種啟動(dòng)方式常用于內(nèi)存空間有限的系統(tǒng)中，另外，程序在ROM/Flash中運(yùn)行的速度相對(duì)較慢。
2.3 RAM自解壓
壓縮格式的內(nèi)核由開頭一段自解壓代碼和壓縮內(nèi)核數(shù)據(jù)組成，由于以壓縮格式存放，內(nèi)核只能以非XIP方式運(yùn)行。RAM自解壓過程如下：壓縮內(nèi)核存放于ROM/Flash中，Bootloader啟動(dòng)后加載到內(nèi)存中的臨時(shí)空間，然后跳轉(zhuǎn)到壓縮內(nèi)核入口地址執(zhí)行自解壓代碼，內(nèi)核被解壓到最終的目的地址然后運(yùn)行。壓縮內(nèi)核所占據(jù)的臨時(shí)空間隨后被Linux回收利用。這種方式的內(nèi)核在嵌入式產(chǎn)品中較為常見。
2.4 ROM自解壓
解壓縮代碼也能夠以XIP的方式在ROM/Flash中運(yùn)行。ROM自解壓過程如下：壓縮內(nèi)核存放在ROM/Flash中，不需要加載到內(nèi)存就能運(yùn)行，Bootloader直接跳轉(zhuǎn)到其存放地址執(zhí)行其自解壓代碼，將壓縮內(nèi)核解壓到最終的目的地址并運(yùn)行。ROM自解壓方式存放的內(nèi)核解壓縮速度慢，而且也不能節(jié)省內(nèi)存空間。

3. 內(nèi)核啟動(dòng)地址的確定
內(nèi)核自解壓方式
Head.S/head-XXX.S獲得內(nèi)核解壓后首地址ZREALADDR，然后解壓內(nèi)核，并把解壓后的內(nèi)核放在ZREALADDR的位置上，最后跳轉(zhuǎn)到ZREALADDR地址上，開始真正的內(nèi)核啟動(dòng)。

arch/armnommu/boot/Makefile，定義ZRELADDR和ZTEXTADDR。ZTEXTADDR是自解壓代碼的起始地址，如果從內(nèi)存啟動(dòng)內(nèi)核，設(shè)置為0即可，如果從Rom/Flash啟動(dòng)，則設(shè)置ZTEXTADDR為相應(yīng)的值。ZRELADDR是內(nèi)核解壓縮后的執(zhí)行地址。
arch/armnommu/boot/compressed/vmlinux.ld,引用LOAD_ADDR和TEXT_START。
arch/armnommu/boot/compressed/Makefile, 通過如下一行：
SEDFLAGS = s/TEXT_START/$(ZTEXTADDR)/;s/LOAD_ADDR/$(ZRELADDR)/;
使得TEXT_START = ZTEXTADDR，LOAD_ADDR = ZRELADDR。

說明：
執(zhí)行完decompress_kernel函數(shù)后,代碼跳回head.S/head-XXX.S中,檢查解壓縮之后的kernel起始地址是否緊挨著kernel image。如果是,beqcall_kernel,執(zhí)行解壓后的kernel。如果解壓縮之后的kernel起始地址不是緊挨著kernelimage,則執(zhí)行relocate,將其拷貝到緊接著kernel image的地方,然后跳轉(zhuǎn),執(zhí)行解壓后的kernel。

Bootloader解壓方式
Bootloader把解壓后的內(nèi)核放在內(nèi)存的TEXTADDR位置上，然后跳轉(zhuǎn)到TEXTADDR位置上，開始內(nèi)核啟動(dòng)。
arch/armnommu/Makefile，一般設(shè)置TEXTADDR為PAGE_OFF+0x8000，如定義為0x00008000, 0xC0008000等。
arch/armnommu/vmlinux.lds，引用TEXTADDR

4. arch/armnommu/kernel/head-armv.S
該文件是內(nèi)核最先執(zhí)行的一個(gè)文件，包括內(nèi)核入口ENTRY(stext)到start_kernel間的初始化代碼，主要作用是檢查CPUID，Architecture Type，初始化BSS等操作，并跳到start_kernel函數(shù)。在執(zhí)行前，處理器應(yīng)滿足以下狀態(tài)：
r0 - should be 0
r1 - unique architecture number
MMU - off
I-cache - on or off
D-cache – off

/* 部分源代碼分析 */
/* 內(nèi)核入口點(diǎn) */
ENTRY(stext)
/* 程序狀態(tài)，禁止FIQ、IRQ，設(shè)定SVC模式 */
mov r0, #F_BIT | I_BIT | MODE_SVC@ make sure svc mode
/* 置當(dāng)前程序狀態(tài)寄存器 */
msr cpsr_c, r0 @ and all irqs disabled
/* 判斷CPU類型，查找運(yùn)行的CPU ID值與Linux編譯支持的ID值是否支持 */
bl __lookup_processor_type
/* 跳到__error */
teq r10, #0 @ invalid processor?
moveq r0, #'p' @ yes, error 'p'
beq __error
/* 判斷體系類型，查看R1寄存器的Architecture Type值是否支持 */
bl __lookup_architecture_type
/* 不支持，跳到出錯(cuò) */
teq r7, #0 @ invalid architecture?
moveq r0, #'a' @ yes, error 'a'
beq __error
/* 創(chuàng)建核心頁表 */
bl __create_page_tables
adr lr, __ret @ return address
add pc, r10, #12 @ initialise processor
/* 跳轉(zhuǎn)到start_kernel函數(shù) */
b start_kernel

__lookup_processor_type這個(gè)函數(shù)根據(jù)芯片的ID從proc.info獲取proc_info_list結(jié)構(gòu)，proc_info_list結(jié)構(gòu)定義在include/asm-armnommu/proginfo.h中，該結(jié)構(gòu)的數(shù)據(jù)定義在arch/armnommu/mm/proc-arm*.S文件中，ARM7TDMI系列芯片的proc_info_list數(shù)據(jù)定義在arch/armnommu/mm/proc-arm6,7.S文件中。函數(shù)__lookup_architecture_type從arch.info獲取machine_desc結(jié)構(gòu)，machine_desc結(jié)構(gòu)定義在include/asm-armnommu/mach/arch.h中，針對(duì)不同arch的數(shù)據(jù)定義在arch/armnommu/mach-*/arch.c文件中。
在這里如果知道processor_type和architecture_type,可以直接對(duì)相應(yīng)寄存器進(jìn)行賦值。

5. start_kernel()函數(shù)分析
下面對(duì)start_kernel()函數(shù)及其相關(guān)函數(shù)進(jìn)行分析。
5.1 lock_kernel()
/* Getting the big kernel lock.
* This cannot happen asynchronously,
* so we only need to worry about other
* CPU's.
*/
extern __inline__ void lock_kernel(void)
{
if (!++current->lock_depth)
spin_lock(kernel_flag);
}
kernel_flag是一個(gè)內(nèi)核大自旋鎖，所有進(jìn)程都通過這個(gè)大鎖來實(shí)現(xiàn)向內(nèi)核態(tài)的遷移。只有獲得這個(gè)大自旋鎖的處理器可以進(jìn)入內(nèi)核，如中斷處理程序等。在任何一對(duì)lock_kernel／unlock_kernel函數(shù)里至多可以有一個(gè)程序占用CPU。進(jìn)程的lock_depth成員初始化為-1，在kerenl/fork.c文件中設(shè)置。在它小于0時(shí)（恒為-1），進(jìn)程不擁有內(nèi)核鎖；當(dāng)大于或等于0時(shí)，進(jìn)程得到內(nèi)核鎖。

5.2 setup_arch()
setup_arch()函數(shù)做體系相關(guān)的初始化工作，函數(shù)的定義在arch/armnommu/kernel/setup.c文件中，主要涉及下列主要函數(shù)及代碼。
5.2.1 setup_processor()
該函數(shù)主要通過
for (list = __proc_info_begin; list __proc_info_end ; list++)
if ((processor_id list->cpu_mask) == list->cpu_val)
break;
這樣一個(gè)循環(huán)來在.proc.info段中尋找匹配的processor_id，processor_id在head_armv.S文件
中設(shè)置。

5.2.2 setup_architecture(machine_arch_type)
該函數(shù)獲得體系結(jié)構(gòu)的信息，返回mach-xxx/arch.c 文件中定義的machine結(jié)構(gòu)體的指針，包含以下內(nèi)容：
MACHINE_START (xxx, “xxx”)
MAINTAINER (xxx)
BOOT_MEM (xxx, xxx, xxx)
FIXUP (xxx)
MAPIO (xxx)
INITIRQ (xxx)
MACHINE_END

5.2.3內(nèi)存設(shè)置代碼
if (meminfo.nr_banks == 0)
{
meminfo.nr_banks = 1;
meminfo.bank[0].start = PHYS_OFFSET;
meminfo.bank[0].size = MEM_SIZE;
}
meminfo結(jié)構(gòu)表明內(nèi)存情況，是對(duì)物理內(nèi)存結(jié)構(gòu)meminfo的默認(rèn)初始化。nr_banks指定內(nèi)存塊的數(shù)量，bank指定每塊內(nèi)存的范圍，PHYS_OFFSET指定某塊內(nèi)存塊的開始地址，MEM_SIZE指定某塊內(nèi)存塊長(zhǎng)度。PHYS_OFFSET和MEM_SIZE都定義在include/asm-armnommu/arch-XXX/memory.h文件中，其中PHYS_OFFSET是內(nèi)存的開始地址，MEM_SIZE就是內(nèi)存的結(jié)束地址。這個(gè)結(jié)構(gòu)在接下來內(nèi)存的初始化代碼中起重要作用。

5.2.4 內(nèi)核內(nèi)存空間管理
init_mm.start_code = (unsigned long) _text; 內(nèi)核代碼段開始
init_mm.end_code = (unsigned long) _etext; 內(nèi)核代碼段結(jié)束
init_mm.end_data = (unsigned long) _edata; 內(nèi)核數(shù)據(jù)段開始
init_mm.brk = (unsigned long) _end; 內(nèi)核數(shù)據(jù)段結(jié)束

每一個(gè)任務(wù)都有一個(gè)mm_struct結(jié)構(gòu)管理其內(nèi)存空間，init_mm 是內(nèi)核的mm_struct。其中設(shè)置成員變量* mmap指向自己， 意味著內(nèi)核只有一個(gè)內(nèi)存管理結(jié)構(gòu)，設(shè)置 pgd=swapper_pg_dir，
swapper_pg_dir是內(nèi)核的頁目錄，ARM體系結(jié)構(gòu)的內(nèi)核頁目錄大小定義為16k。init_mm定義了整個(gè)內(nèi)核的內(nèi)存空間，內(nèi)核線程屬于內(nèi)核代碼，同樣使用內(nèi)核空間，其訪問內(nèi)存空間的權(quán)限與內(nèi)核一樣。

5.2.5 內(nèi)存結(jié)構(gòu)初始化
bootmem_init(meminfo)函數(shù)根據(jù)meminfo進(jìn)行內(nèi)存結(jié)構(gòu)初始化。bootmem_init(meminfo)函數(shù)中調(diào)用reserve_node_zero(bootmap_pfn, bootmap_pages)函數(shù)，這個(gè)函數(shù)的作用是保留一部分內(nèi)存使之不能被動(dòng)態(tài)分配。這些內(nèi)存塊包括：
reserve_bootmem_node(pgdat, __pa(_stext), _end - _stext); /*內(nèi)核所占用地址空間*/
reserve_bootmem_node(pgdat, bootmap_pfn/*bootmem結(jié)構(gòu)所占用地址空間*/

5.2.6 paging_init(meminfo, mdesc)
創(chuàng)建內(nèi)核頁表，映射所有物理內(nèi)存和IO空間，對(duì)于不同的處理器，該函數(shù)差別比較大。下面簡(jiǎn)單描述一下ARM體系結(jié)構(gòu)的存儲(chǔ)系統(tǒng)及MMU相關(guān)的概念。
在ARM存儲(chǔ)系統(tǒng)中，使用內(nèi)存管理單元(MMU)實(shí)現(xiàn)虛擬地址到實(shí)際物理地址的映射。利用MMU，可把SDRAM的地址完全映射到0x0起始的一片連續(xù)地址空間，而把原來占據(jù)這片空間的FLASH或者ROM映射到其他不相沖突的存儲(chǔ)空間位置。例如，F(xiàn)LASH的地址從0x00000000～0x00FFFFFF，而SDRAM的地址范圍是0x3000 0000～0x3lFFFFFF，則可把SDRAM地址映射為0x00000000～0xlFFFFFF，而FLASH的地址可以映射到0x90000000～0x90FFFFFF(此處地址空間為空閑，未被占用)。映射完成后，如果處理器發(fā)生異常，假設(shè)依然為IRQ中斷，PC指針指向0xl8處的地址，而這個(gè)時(shí)候PC實(shí)際上是從位于物理地址的0x30000018處讀取指令。通過MMU的映射，則可實(shí)現(xiàn)程序完全運(yùn)行在SDRAM之中。在實(shí)際的應(yīng)用中．可能會(huì)把兩片不連續(xù)的物理地址空間分配給SDRAM。而在操作系統(tǒng)中，習(xí)慣于把SDRAM的空間連續(xù)起來，方便內(nèi)存管理，且應(yīng)用程序申請(qǐng)大塊的內(nèi)存時(shí)，操作系統(tǒng)內(nèi)核也可方便地分配。通過MMU可實(shí)現(xiàn)不連續(xù)的物理地址空間映射為連續(xù)的虛擬地址空間。操作系統(tǒng)內(nèi)核或者一些比較關(guān)鍵的代碼，一般是不希望被用戶應(yīng)用程序訪問。通過MMU可以控制地址空間的訪問權(quán)限，從而保護(hù)這些代碼不被破壞。
MMU的實(shí)現(xiàn)過程，實(shí)際上就是一個(gè)查表映射的過程。建立頁表是實(shí)現(xiàn)MMU功能不可缺少的一步。頁表位于系統(tǒng)的內(nèi)存中，頁表的每一項(xiàng)對(duì)應(yīng)于一個(gè)虛擬地址到物理地址的映射。每一項(xiàng)的長(zhǎng)度即是一個(gè)字的長(zhǎng)度(在ARM中，一個(gè)字的長(zhǎng)度被定義為4Bytes)。頁表項(xiàng)除完成虛擬地址到物理地址的映射功能之外，還定義了訪問權(quán)限和緩沖特性等。
MMU的映射分為兩種，一級(jí)頁表的變換和二級(jí)頁表變換。兩者的不同之處就是實(shí)現(xiàn)的變換地址空間大小不同。一級(jí)頁表變換支持1 M大小的存儲(chǔ)空間的映射，而二級(jí)可以支持64 kB，4 kB和1 kB大小地址空間的映射。

動(dòng)態(tài)表(頁表)的大?。奖眄?xiàng)數(shù)＊每個(gè)表項(xiàng)所需的位數(shù)，即為整個(gè)內(nèi)存空間建立索引表時(shí)，需要多大空間存放索引表本身。
表項(xiàng)數(shù)＝虛擬地址空間/每頁大小
每個(gè)表項(xiàng)所需的位數(shù)＝Log(實(shí)際頁表數(shù))+適當(dāng)控制位數(shù)
實(shí)際頁表數(shù) ＝物理地址空間/每頁大小



--------------------------------------------------------------------------------
Send_linux 回復(fù)于：2007-03-06 15:44:27

下面分析paging_init（）函數(shù)的代碼。
在paging_init中分配起始頁（即第0頁）地址：
zero_page = 0xCXXXXXXX

memtable_init(mi); 如果當(dāng)前微處理器帶有MMU，則為系統(tǒng)內(nèi)存創(chuàng)建頁表；如果當(dāng)前微處理器不支持MMU，比如ARM7TDMI上移植uCLinux操作系統(tǒng)時(shí)，則不需要此類步驟?？梢酝ㄟ^如下一個(gè)宏定義實(shí)現(xiàn)靈活控制，對(duì)于帶有MMU的微處理器而言，memtable_init(mi)是paging_init()中最重要的函數(shù)。
#ifndef CONFIG_UCLINUX
/* initialise the page tables. */
memtable_init(mi);
……（此處省略若干代碼）
free_area_init_node(node, pgdat, 0, zone_size,
bdata->node_boot_start, zhole_size);
}
#else /* 針對(duì)不帶MMU微處理器 */
{
/*****************************************************/
定義物理內(nèi)存區(qū)域管理
/*****************************************************/
unsigned long zone_size[MAX_NR_ZONES] = {0,0,0};

zone_size[ZONE_DMA] = 0;
zone_size[ZONE_NORMAL] = (END_MEM - PAGE_OFFSET) >> PAGE_SHIFT;

free_area_init_node(0, NULL, NULL, zone_size, PAGE_OFFSET, NULL);
}
#endif

uCLinux與其它嵌入式Linux最大的區(qū)別就是MMU管理這一塊，從上面代碼就明顯可以看到這點(diǎn)區(qū)別。下面繼續(xù)討論針對(duì)帶MMU的微處理器的內(nèi)存管理。
void __init memtable_init(struct meminfo *mi)
{
struct map_desc *init_maps, *p, *q;
unsigned long address = 0;
int i;
init_maps = p = alloc_bootmem_low_pages(PAGE_SIZE);
/*******************************************************/
其中map_desc定義為：
struct map_desc {
unsigned long virtual;
unsigned long physical;
unsigned long length;
int domain:4, // 頁表的domain
prot_read:1, // 讀保護(hù)標(biāo)志
prot_write:1, // 寫保護(hù)標(biāo)志
cacheable:1, // 是否使用cache
bufferable:1, // 是否使用write buffer
last:1; //空
};init_maps /* map_desc是區(qū)段及其屬性的定義 */

下面代碼對(duì)meminfo的區(qū)段進(jìn)行遍歷，在嵌入式系統(tǒng)中列舉所有可映射的內(nèi)存，例如32M SDRAM, 4M FLASH等，用meminfo記錄這些內(nèi)存區(qū)段。同時(shí)填寫init_maps 中的各項(xiàng)內(nèi)容。meminfo結(jié)構(gòu)如下：
struct meminfo {
int nr_banks;
unsigned long end;
struct {
unsigned long start;
unsigned long size;
int node;
} bank[NR_BANKS];
};
/********************************************************/

for (i = 0; i mi->nr_banks; i++)
{
if (mi->bank.size == 0)
continue;

p->physical = mi->bank.start;
p->virtual = __phys_to_virt(p->physical);
p->length = mi->bank.size;
p->domain = DOMAIN_KERNEL;
p->prot_read = 0;
p->prot_write = 1;
p->cacheable = 1; //使用Cache
p->bufferable = 1; //使用write buffer
p ++; //下一個(gè)區(qū)段
}

/* 如果系統(tǒng)存在FLASH,執(zhí)行以下代碼 */
#ifdef FLUSH_BASE
p->physical = FLUSH_BASE_PHYS;
p->virtual = FLUSH_BASE;
p->length = PGDIR_SIZE;
p->domain = DOMAIN_KERNEL;
p->prot_read = 1;
p->prot_write = 0;
p->cacheable = 1;
p->bufferable = 1;

p ++;
#endif

/***********************************************************/
接下來的代碼是逐個(gè)區(qū)段建立頁表
/***********************************************************/
q = init_maps;
do {
if (address q->virtual || q == p) {

/*******************************************************************************/
由于內(nèi)核空間是從某個(gè)地址開始，如0xC0000000，所以0xC000 0000 以前的頁表項(xiàng)全部清空
clear_mapping在mm-armv.c中定義，其中clear_mapping()是個(gè)宏，根據(jù)處理器的不同，可以被展開為如下代碼
cpu_XXX_set_pmd(((pmd_t *)(((init_mm )->pgd+ (( virt) >> 20 )))),((pmd_t){( 0 )}));
其中init_mm為內(nèi)核的mm_struct，pgd指向 swapper_pg_dir，在arch/arm/kernel/init_task.c中定義。cpu_XXX_set_pmd定義在 proc_armXXX.S文件中，參見ENTRY(cpu_XXX_set_pmd) 處代碼。
/*********************************************************************************/
clear_mapping(address);

/* 每個(gè)表項(xiàng)增加1M */
address += PGDIR_SIZE;
} else {

/* 構(gòu)建內(nèi)存頁表 */
create_mapping(q);

address = q->virtual + q->length;
address = (address + PGDIR_SIZE - 1) PGDIR_MASK;

q ++;
}
} while (address != 0);

/ * create_mapping函數(shù)也在mm-armv.c中定義 */
static void __init create_mapping(struct map_desc *md)
{
unsigned long virt, length;
int prot_sect, prot_pte;
long off;

/*******************************************************************************/
大部分應(yīng)用中均采用1級(jí)section模式的地址映射，一個(gè)section的大小為1M，也就是說從邏輯地址到物理地址的轉(zhuǎn)變是這樣的一個(gè)過程：
一個(gè)32位的地址，高12位決定了該地址在頁表中的index，這個(gè)index的內(nèi)容決定了該邏輯section對(duì)應(yīng)的物理section；低20位決定了該地址在section中的偏移（index）。例如：從0x0～0xFFFFFFFF的地址空間總共可以分成0x1000（4K）個(gè) section（每個(gè)section大小為1M），頁表中每項(xiàng)的大小為32個(gè)bit，因此頁表的大小為0x4000（16K）。

每個(gè)頁表項(xiàng)的內(nèi)容如下:
bit: 31 20 19 12 11 10 9 8 5 4 3 2 1 0
content: Section對(duì)應(yīng)的物理地址 NULL AP 0 Domain 1 C B 1 0
最低兩位（10）是section分頁的標(biāo)識(shí)。
AP：Access Permission，區(qū)分只讀、讀寫、SVC＆其它模式。
Domain：每個(gè)section都屬于某個(gè)Domain，每個(gè)Domain的屬性由寄存器控制。一般都只要包含兩個(gè)Domain，一個(gè)可訪問地址空間； 另一個(gè)不可訪問地址空間。