通過輕型線程提高多核設(shè)備中的Linux實時性能

　　簡介

　　上個世紀，研發(fā)人員投入了大量精力提高 Linux 實時性能和行為，最著名的是 PREEMPT_RT Linux 實時擴展。最近，研發(fā)人員致力于研究適用于多核設(shè)備的 Linux 用戶空間解決方案，該解決方案允許從用戶空間中直接訪問基礎(chǔ)硬件，從而可避免因?qū)?Linux 內(nèi)核引入用戶空間應(yīng)用而帶來的額外系統(tǒng)開銷。這些用戶空間擴展(有多個)已首先由電信/網(wǎng)絡(luò)高性能 IP 數(shù)據(jù)包處理系統(tǒng)進行驅(qū)動，以實現(xiàn)所謂的“裸金屬”實施，其中，多核設(shè)備中的 Linux 用戶空間應(yīng)用可以模擬“無操作系統(tǒng)”解決方案的執(zhí)行過程，即在每個內(nèi)核上進行簡單“運行到完成”、輪詢循環(huán)，以便進行數(shù)據(jù)包處理。在從根本上實現(xiàn)該目標的同時，該解決方案仍可用于非常特殊的用例。還有其他需要提高性能的用例無法通過以上解決方案完全解決嗎?如果有的話，請列舉出來，是否可應(yīng)用更完善的 Linux 實時改進?答案是肯定的，采用 Linux 用戶空間輕型線程 (light-weight threading, LWT) 即可。我們來研究一下實時 Linux，以及輕型線程如何能成為適用于某些應(yīng)用的解決方案。研究的重點受電信、網(wǎng)絡(luò)或常用通信應(yīng)用的影響，Enea 側(cè)重于這些應(yīng)用中采用的技術(shù)。但總體上來說，對輕型線程的重點應(yīng)用會使多方受益。

　　實時 Linux 及其解決的問題

　　在過去的 10 年中，Linux 已在實時性能和行為方面取得了顯著的進步，滿足了大量應(yīng)用的需求。具體歸納如下：

　　PREEMPT_RT
　　PREEMPT_RT 也許是 Linux 實時擴展取得的最顯著的成就，PREEMPT_RT 數(shù)據(jù)包解決了多核設(shè)備 Linux 中存在的特別棘手的問題，即“中斷延遲”問題。將事件/數(shù)據(jù)傳送到真實用戶空間應(yīng)用之前，處理Linux內(nèi)核中的中斷占用的系統(tǒng)開銷非常高 - 該系統(tǒng)開銷往往會延遲其他中斷，從而增大發(fā)生中斷時測得的中斷信息接收方進行處理的總體延遲。同樣，Linux 內(nèi)核中還有許多所謂的“重要部分”，可在其中通過自旋鎖禁用中斷。標準Linux 內(nèi)核的總體中斷延遲與許多實時應(yīng)用的最重要的中斷延遲要求不符，特別是無線接入網(wǎng)(移動)和移動核心基礎(chǔ)設(shè)施，這兩者要求最差情況下的中斷延遲應(yīng)在 20-30 微秒范圍內(nèi)。這一點也適用于許多其他市場應(yīng)用。在快速“nutshell”PREEMPT_RT 中，這一問題是通過以下方式解決的：

• 將全部設(shè)備驅(qū)動器中斷句柄傳遞到可調(diào)度線程中，這樣可最大程度地減少 Linux 內(nèi)核對中斷的處理工作，因此，無需等待前一中斷處理完成便可處理新中斷。之后，中斷處理會變?yōu)槭軆?yōu)先級驅(qū)動，根據(jù)用戶需求，會先完成優(yōu)先級最高的中斷處理。
• 將 Linux 內(nèi)核中的所有死空間自旋鎖傳遞到互斥量中，從而允許其他內(nèi)核線程代替內(nèi)核空間自旋鎖運行。

　　基本上，PREEMPT_RT 已根據(jù)非常高性能的實時標準將總體中斷延遲成功縮短，這樣對大量 Linux 應(yīng)用都非常有幫助。要了解具體應(yīng)用?請繼續(xù)往下讀。

　　用戶空間 Linux 調(diào)整

　　如上文所述，近年來，研發(fā)人員對 Linux 用戶空間應(yīng)用投入了大量精力。目的是避免用戶空間應(yīng)用(Linux 用戶對其附加價值投入了大量精力)占用 Linux 內(nèi)核本身的系統(tǒng)開銷來處理某些特定的設(shè)備/中斷交互。Linux 采用的模型可極大程度地防止用戶空間應(yīng)用受到內(nèi)核的影響，在該模型中，所有用戶空間操作(包括線程)始終會映射到 Linux 內(nèi)核，以便處理其 I/O 請求。這樣便使 Linux 具有強大的行為和特性。但是，對于數(shù)據(jù)處理性能非常高的應(yīng)用來說，即使采用 PREEMPT_RT，Linux 也會有短時故障，這是因為，總是需要進行 Linux 內(nèi)核上下文切換才能直接訪問硬件。用戶空間 Linux 實施允許應(yīng)用在不涉及 Linux 內(nèi)核的情況下直接訪問硬件和中斷，并可極大程度地提高性能。但這種性能提升只能在 I/O 密度極高的環(huán)境中實現(xiàn)。大部分 Linux 用戶空間調(diào)整都側(cè)重于單線程應(yīng)用(如高性能數(shù)據(jù)包處理)，其中，Linux 下只有一個線程用于模擬多核設(shè)備中的“無操作系統(tǒng)”性能。

　　多線程問題

　　實時 Linux 解決方案調(diào)查中缺少的是認真檢查多線程在實時嵌入式應(yīng)用中的有效性。實際上，早在 20 世紀 80 年代 Linux 出現(xiàn)之前，人們就提出了需要采用嵌入式實時操作系統(tǒng) (RTOS) 來實現(xiàn)低延遲、高吞吐量、極具實時特點的應(yīng)用。操作系統(tǒng)的結(jié)構(gòu)發(fā)生了變化，但對這方面的需求卻沒有改變。此類 RTOS 解決方案所具有的各種性能、行為和特性是過去十多年中 Linux 一直嘗試達到的。這并不意味著傾向于恢復使用 RTOS，而是要達到 RTOS 所具有的功能。就便攜性、應(yīng)用的廣闊生態(tài)系統(tǒng)以及設(shè)備支持和常規(guī)支持來講，Linux 在實時嵌入式解決方案中的總體價值是任何 RTOS 都無法比擬的。存在兩個實際問題：

• 多線程為何重要?
• 如果多線程很重要，那么我們應(yīng)如何將 RTOS 多線程性能、行為和特性添加到 Linux 中，以便取得更大的成功?關(guān)鍵問題是了解 Linux 多線程實施與 RTOS，然后考慮可以進行哪些改進。

　　多線程為何重要?

　　30 多年前，當計算機解決方案軟件設(shè)計人員碰到單線程解決方案無法解決的復雜問題時，便已提出了對多線程實時性方面的需求。所需解決方案要求單個應(yīng)用具有多個任務(wù)，也許一些是計算任務(wù)，一些是受 I/O 驅(qū)動的任務(wù)，但是，就任務(wù)的總體執(zhí)行而言，所有任務(wù)均密切相關(guān)。但多個任務(wù)密切相關(guān)意味著這些任務(wù)應(yīng)共享一部分 CPU 時間才能達到 CPU 的有效總體利用率。在很多此類應(yīng)用中，必須禁止執(zhí)行某些操作、等待某些 I/O 事件或另一應(yīng)用發(fā)出的其他通信。因此出現(xiàn)了簡單的可執(zhí)行程序，這些可執(zhí)行程序可以處理多個線程，同時可禁用線程，并可在各線程之間進行低延遲通信。

　　并非所有實時應(yīng)用都需要支持重要的多線程處理功能。本文并未對相關(guān)應(yīng)用進行分類。但很顯然，需要使用多線程處理功能的應(yīng)用是那些需要在協(xié)議中設(shè)定“等待狀態(tài)”的任何類型的復雜協(xié)議，即等待允許應(yīng)用繼續(xù)進行的響應(yīng)或事件。之后，應(yīng)用應(yīng)放棄對 CPU 的控制權(quán)，允許運行其他類似的線程，來代替該響應(yīng)或事件。

　　也許上述教程對于許多人來說很簡單。請注意，很多移動基礎(chǔ)設(shè)施和核心網(wǎng)絡(luò)設(shè)備供應(yīng)商得出的結(jié)論是，雖然 Linux 是當前或未來系統(tǒng)的首選，但目前構(gòu)建的 Linux 還不足以滿足業(yè)界的全部要求。原因是什么?

　　采用 PTHREADS 的 Linux 多線程

　　Pthreads 是由 IEEE 規(guī)劃的可移植操作系統(tǒng)接口 (POSIX) 創(chuàng)建的，目的是為了解決 Unix 中存在的高性能、多線程問題，之后被 Linux 用在最早的版本中，用于為企業(yè)實施可移植 Unix，目前用于嵌入式應(yīng)用中。

　　創(chuàng)建 pthreads 模型是為了解決原始 Unix Fork/Join 模型創(chuàng)建 Unix“子”進程時出現(xiàn)的問題。由于該模型涉及到創(chuàng)建(還可能涉及刪除)整個受內(nèi)存保護的環(huán)境及執(zhí)行模式，因此Unix 進程模型非常龐大。需要在 Unix 下采用適用于多線程的較輕型模型，因此pthreads應(yīng)運而生。

　　但 Unix(也包括 Linux)模型是專為將內(nèi)核與用戶空間應(yīng)用完全分離而設(shè)計的，其優(yōu)勢之一在于提供的保護、安全性和可靠性遠勝于其他實施方案(包括過去 10 幾年間使用的 RTOS)。實質(zhì)上，這意味著 Linux 用戶空間中的每個 pthread 都會由 Linux 內(nèi)核線程表示，因此，全部或大部分 Linux 系統(tǒng)調(diào)用(特別是設(shè)備驅(qū)動器)均可通過用戶空間進行訪問。但是，由于 OEM 制造的產(chǎn)品并不具備 GPL，因此用戶空間中實際存儲了所有嵌入式 Linux 實時應(yīng)用。因此，在每種情況下，使用 pthreads 都涉及到調(diào)用 Linux 內(nèi)核，從而為本可以在本地實施的應(yīng)用帶來了額外的系統(tǒng)開銷。