實(shí)時(shí)硬件級(jí)光線(xiàn)追蹤：移動(dòng)游戲圖形的變革時(shí)刻

你最后一次在電腦或游戲機(jī)上玩電子游戲是什么時(shí)候？如果它是最受歡迎的游戲之一，你可能已經(jīng)注意到其圖形是多么的逼真。今天，最尖端的PC 和游戲機(jī)中的圖形正接近我們?cè)陔娪爸锌吹降恼鎸?shí)圖片。

在創(chuàng)建照片級(jí)真實(shí)感實(shí)時(shí)計(jì)算機(jī)生成圖形時(shí)，最重要的元素之一是場(chǎng)景的照明。模擬真實(shí)的燈光和陰影時(shí)，傳統(tǒng)的3D圖形渲染方法——光柵化——并不是最有效的技術(shù)。這是因?yàn)楣鈻呕墓ぷ髟硎菍⑻摂M多邊形網(wǎng)格化為3D模型，然后將其分解為必須單獨(dú)著色的像素，這一過(guò)程需要極其繁重的工作和計(jì)算資源，并且通常需要復(fù)雜的開(kāi)發(fā)技術(shù)。

電影動(dòng)畫(huà)師早就知道這一點(diǎn)，是以他們使用光線(xiàn)追蹤技術(shù)來(lái)創(chuàng)建全局照明、陰影和反射等效果。光線(xiàn)追蹤是一種簡(jiǎn)單并準(zhǔn)確地模擬光行為的方法，它可以使場(chǎng)景看起來(lái)更逼真，而且工作更少。這項(xiàng)技術(shù)更符合人眼看世界的原理，光通過(guò)環(huán)境中的物體產(chǎn)生反射，并基于物體的材質(zhì)吸收/反射光線(xiàn)。

光線(xiàn)追蹤可以實(shí)現(xiàn)更逼真的效果，開(kāi)發(fā)人員可以使用它為游戲玩家創(chuàng)造更沉浸式的體驗(yàn)。同時(shí)，使用光線(xiàn)追蹤比使用傳統(tǒng)光柵更容易創(chuàng)建這些效果，因此開(kāi)發(fā)人員可以騰出時(shí)間來(lái)處理游戲的其他方面工作。

然而，在游戲中使用光線(xiàn)追蹤技術(shù)的缺點(diǎn)是，要獲得真正的沉浸式體驗(yàn)，光線(xiàn)追蹤必須實(shí)時(shí)完成。這意味著圖像必須在幾秒鐘內(nèi)渲染完成，這使得它在處理計(jì)算和資源方面成本昂貴。

如今，市場(chǎng)上的硬件可以在游戲主機(jī)和 PC 游戲中實(shí)現(xiàn)實(shí)時(shí)光線(xiàn)追蹤效果，但它有選擇地只用于照亮場(chǎng)景中最關(guān)鍵的對(duì)象，在某些情況下，開(kāi)發(fā)者可以決定如何使用它。考慮到性能限制，開(kāi)發(fā)者們可以決定是使用它生成反射還是陰影， 還是完全使用光線(xiàn)追蹤——可以選擇關(guān)閉以?xún)?yōu)化幀率。游戲性能是考慮的底線(xiàn)。

與前幾代技術(shù)相比，目前帶有光線(xiàn)追蹤的硬件通過(guò)提供更多的光線(xiàn)追蹤處理來(lái)提高性能，但它需要更大的芯片面積和更高的功耗。而當(dāng)前在電源受限的設(shè)備中實(shí)現(xiàn)實(shí)時(shí)光線(xiàn)追蹤極具挑戰(zhàn)，因此這項(xiàng)技術(shù)尚未在移動(dòng)游戲玩家的設(shè)備屏幕上大顯身手。不過(guò)，據(jù)有關(guān)數(shù)據(jù)顯示，移動(dòng)游戲很快將占據(jù)全球游戲市場(chǎng)的52%（NewZoo, 2021年），移動(dòng)游戲的體驗(yàn)成為未來(lái)發(fā)展不容忽視的方向。

移動(dòng)設(shè)備中的圖形

即便沒(méi)有光線(xiàn)追蹤技術(shù)的幫助，移動(dòng)圖形的質(zhì)量仍在不斷提高。隨著圖形變得越來(lái)越真實(shí)，使用傳統(tǒng)技術(shù)生成圖形的能力變得越來(lái)越復(fù)雜，這正將性能、帶寬和功耗要求推到了移動(dòng)處理器的極限。

陰影生成就是一個(gè)很好的例子。陰影生成傳統(tǒng)上是通過(guò)級(jí)聯(lián)陰影貼圖（CSM, Cascaded shadow maps）完成的，這一過(guò)程需要大量的幾何體處理、大量緩沖區(qū)的分配、高分辨率下多個(gè)渲染目標(biāo)的處理以及昂貴的著色器操作。就處理周期、功耗和帶寬而言，成本是巨大的。而且，在進(jìn)行了所有這些操作之后，結(jié)果仍然不如使用光線(xiàn)追蹤更容易，創(chuàng)建的結(jié)果那么真實(shí)。

使用光線(xiàn)追蹤技術(shù)，光線(xiàn)從單個(gè)像素發(fā)送到光源，如果光線(xiàn)擊中某個(gè)物體，該區(qū)域?qū)⑻幱陉幱爸?。每像素一條光線(xiàn)使這成為一個(gè)簡(jiǎn)單、廉價(jià)和直接的過(guò)程，特別是在專(zhuān)用硬件到位的情況下。傳統(tǒng)光柵化所遇到的許多分辨率問(wèn)題、偽影和其他挑戰(zhàn)（如避免浮動(dòng)幾何體所需的偏移）在光線(xiàn)追蹤中并不存在。只要專(zhuān)用硬件能夠高效實(shí)施，創(chuàng)建照明和陰影效果就是微不足道的挑戰(zhàn)。

今天，這個(gè)行業(yè)正處于交叉點(diǎn)，使用陰影貼圖和其他傳統(tǒng)技術(shù)進(jìn)行的近似操作正變得非常昂貴，而實(shí)時(shí)光線(xiàn)追蹤正成為一種更高效的選擇。此外，隨著摩爾定律接近尾聲，我們不能再依賴(lài)可編程硬件仍然每?jī)赡瓿尸F(xiàn)指數(shù)級(jí)增長(zhǎng)。因此，要繼續(xù)加快光線(xiàn)追蹤技術(shù)的推進(jìn)，特別是電源有限的移動(dòng)平臺(tái)，業(yè)界必須尋求高效設(shè)計(jì)的固定功能加速器解決方案。

在移動(dòng)設(shè)備中持續(xù)打造更好的圖形關(guān)鍵在于硬件和開(kāi)發(fā)人員優(yōu)化技術(shù)效率。

光線(xiàn)追蹤硬件現(xiàn)狀

實(shí)時(shí)光線(xiàn)追蹤技術(shù)長(zhǎng)期以來(lái)一直是3D圖形的圣杯。光線(xiàn)追蹤可以以不同的性能和效率水平執(zhí)行，為了闡明這一點(diǎn)，Imagination建立了光線(xiàn)追蹤等級(jí)系統(tǒng)（RTLS），確定6級(jí)光線(xiàn)追蹤，從0級(jí)到5級(jí)。最初的硬件加速光線(xiàn)追蹤工作 - 我們稱(chēng)之為"0級(jí)"的RTLS等級(jí)，不是最佳的。這些解決方案的功能有限，需要定制硬件和應(yīng)用程序編程接口（API）。當(dāng)然，這些解決方案并不能吸引開(kāi)發(fā)人員。然后，市場(chǎng)發(fā)展到"1級(jí)"解決方案，該解決方案使用基于傳統(tǒng)GPU的軟件技術(shù)。這些解決辦法提供了更大的靈活性，但離理想狀態(tài)還有很長(zhǎng)的路要走。

我們今天在市場(chǎng)上看到的大多數(shù)光線(xiàn)追蹤技術(shù)（例如用于 PC 和游戲機(jī)）就是我們所說(shuō)的"2 級(jí)"RTLS 解決方案。該方案為光線(xiàn)追蹤的最基本和最廣泛的操作提供了專(zhuān)用硬件：針對(duì)三角形/盒的交集測(cè)試器。將此操作放在固定功能硬件中可以實(shí)現(xiàn)更高的能效，但對(duì)移動(dòng)設(shè)備來(lái)說(shuō)仍不夠好。因?yàn)橐琅f會(huì)將多個(gè)級(jí)別的光線(xiàn)追蹤處理運(yùn)行在 GPU 上的shader，這些處理階段對(duì)GPU的并行執(zhí)行引擎并不友好。這還導(dǎo)致傳統(tǒng)圖形性能和算術(shù)邏輯單元 （ALU）管線(xiàn)效率降低，從而限制了總體吞吐量。

當(dāng)今市場(chǎng)上最復(fù)雜的光線(xiàn)追蹤解決方案位于3級(jí)。這些解決方案在專(zhuān)用硬件中實(shí)現(xiàn)更多的光線(xiàn)追蹤功能，減輕了著色器的負(fù)擔(dān)，提高了效率。在這個(gè)級(jí)別上，通過(guò)遍歷邊界體積層次結(jié)構(gòu)（BVH）——光線(xiàn)追蹤的主要數(shù)據(jù)結(jié)構(gòu)，完整光線(xiàn)相交處理在專(zhuān)用硬件中實(shí)現(xiàn)。這提高了更復(fù)雜場(chǎng)景的光線(xiàn)追蹤效率，并更好地轉(zhuǎn)移光線(xiàn)追蹤功能，減少了對(duì)傳統(tǒng)圖形性能的影響。

然而，這些解決方案仍然缺乏一個(gè)必要的組成部分，它使得光線(xiàn)追蹤在移動(dòng)設(shè)備成為可能：一致性排序。由于光線(xiàn)傾向于分散在許多不同的方向，如果一致性問(wèn)題沒(méi)有解決，通常GPU帶來(lái)的諸多并行優(yōu)勢(shì)將丟失。這會(huì)導(dǎo)致較低的帶寬利用率、復(fù)雜的數(shù)據(jù)訪問(wèn)模式以及著色器管線(xiàn)處理效率降低。雖然這些解決方案可能會(huì)聲稱(chēng)實(shí)現(xiàn)超每秒千兆光線(xiàn)的處理能力，但它們的效率通常較低，與GPU 處理資源利用率低或內(nèi)存訪問(wèn)限制有關(guān)，這是由于光線(xiàn)在整個(gè)場(chǎng)景中散射造成的非相干的內(nèi)存訪問(wèn)模式造成的。

要在移動(dòng)設(shè)備中實(shí)現(xiàn)實(shí)時(shí)光線(xiàn)追蹤，關(guān)鍵在于效率，我們要利用 GPU固有的并行性，并開(kāi)發(fā)優(yōu)化硬件的智能算法。這需要更智能的硬件解決方案。

智能光線(xiàn)追蹤硬件

業(yè)界必須超越3級(jí)硬件，才能在移動(dòng)設(shè)備中實(shí)現(xiàn)實(shí)時(shí)光線(xiàn)追蹤。在Imagination，我們已經(jīng)為超過(guò)100億臺(tái)移動(dòng)設(shè)備提供了3D圖形技術(shù)。我們知道如何在高效的硬件中提供令人驚嘆的圖形。2016 年，Imagination 的光線(xiàn)追蹤開(kāi)發(fā)板已經(jīng)比當(dāng)今市場(chǎng)上的解決方案復(fù)雜得多?，F(xiàn)在，我們?yōu)槭袌?chǎng)帶來(lái)了4級(jí)RTLS光線(xiàn)追蹤解決方案。

在4級(jí)解決方案中，邊界體積層次（BVH）的光線(xiàn)遍歷與3級(jí)一樣在專(zhuān)用硬件中完成，更重要的是，光線(xiàn)相干性排序也是如此。在這個(gè)過(guò)程中，我們對(duì)同一個(gè)方向的光線(xiàn)進(jìn)行分組，允許大批量的處理充分利用GPU的并行計(jì)算能力。

長(zhǎng)期以來(lái)，我們一直利用GPU固有的并行性，采用基于分塊的渲染等技術(shù)，通過(guò)空間布局性分塊排序提高效率。今天，這是普遍接受的做法。現(xiàn)在，我們將同樣的想法帶到了光線(xiàn)追蹤中。通過(guò)這種方式，我們提高了寬ALU的總體利用率，并顯著提高了測(cè)試效率。對(duì)傳統(tǒng)圖形性能的影響微乎其微，因?yàn)槲覀儙缀跬耆珜⒐饩€(xiàn)追蹤處理轉(zhuǎn)移到專(zhuān)用硬件中，使著色器可用于其他非光線(xiàn)追蹤的圖形處理。

我們的4 級(jí) RTLS 解決方案代表了當(dāng)今最高級(jí)的光線(xiàn)追蹤方案，并且很快將有采用該方案的設(shè)備上市。借助Imagination 4 級(jí)光線(xiàn)追蹤 IP（IMG CXT GPU IP），公司可構(gòu)建高達(dá) 9TFLOPS 的 FP32 光照性能和超過(guò) 7.2G光線(xiàn)/秒 的光線(xiàn)追蹤性能，同時(shí)提供比 2 級(jí)和 3 級(jí)解決方案高達(dá) 2.5 倍的功耗效率。

當(dāng)我們推出IMG CXT時(shí)，我們并沒(méi)有止步不前。我們已經(jīng)在演示如何使用5級(jí)光線(xiàn)追蹤方案實(shí)現(xiàn)完全可編程的光線(xiàn)追蹤技術(shù)。

開(kāi)發(fā)人員優(yōu)化技術(shù)

即使是最高效的硬件也需要技術(shù)輔助，以在移動(dòng)平臺(tái)上提供最佳的圖形質(zhì)量。 移動(dòng)設(shè)備的優(yōu)化更為重要，因?yàn)橛螒驒C(jī)或PC在某種程度上承載了帶寬和功耗預(yù)算可用性過(guò)大的問(wèn)題。手機(jī)沒(méi)有這種蠻力耐受性，任何東西都必須在微小的外形因素下工作，并基于微小電池提供的能量運(yùn)行。手機(jī)的特點(diǎn)意味著硬件必須由游戲引擎高效驅(qū)動(dòng)，以確保手機(jī)不會(huì)過(guò)熱，降幀速率。這意味著，為移動(dòng)設(shè)備創(chuàng)建硬件的關(guān)鍵之一是優(yōu)化管理電池發(fā)熱帶來(lái)的影響。

我們告訴開(kāi)發(fā)人員的第一件事是，少即優(yōu)：不是場(chǎng)景的每個(gè)像素都需要光線(xiàn)追蹤。我們建議開(kāi)發(fā)人員使用他們的光線(xiàn)追蹤預(yù)算，以達(dá)到最大的視覺(jué)沖擊和游戲體驗(yàn)價(jià)值。同樣，它太復(fù)雜了，無(wú)法對(duì)每一個(gè)三角形的光線(xiàn)進(jìn)行測(cè)試。通過(guò)構(gòu)建一個(gè)有效的層次結(jié)構(gòu)，開(kāi)發(fā)人員可以在確定要測(cè)試的三角形時(shí)提高硬件效率。構(gòu)建最佳加速結(jié)構(gòu)通常最好離線(xiàn)完成。

開(kāi)發(fā)人員還應(yīng)避免所有暴力算法。像軟陰影這樣的效果可以通過(guò)更智能的采樣器模式實(shí)現(xiàn)，并結(jié)合空間過(guò)濾器，而不是每個(gè)像素發(fā)出許多光線(xiàn)。此外，大多數(shù)光線(xiàn)追蹤效果可以以較低的分辨率呈現(xiàn)，例如，以四分之一分辨率進(jìn)行處理，然后按比例放大。然后，可以使用圖像的時(shí)間和空間特性，使用去噪減輕因稀疏采樣帶來(lái)的光線(xiàn)追蹤噪聲。其中許多階段可以合并在一起，在傳統(tǒng)GPU計(jì)算硬件上高效運(yùn)行。它也可以利用專(zhuān)用的神經(jīng)網(wǎng)絡(luò)加速引擎，這些引擎幾乎已經(jīng)在每一部手機(jī)上已經(jīng)存在。

開(kāi)發(fā)人員還可以使用許多其他技術(shù)來(lái)優(yōu)化移動(dòng)設(shè)備，例如用于全局照明的動(dòng)態(tài)探測(cè)器、應(yīng)用程序編程接口（API）的謹(jǐn)慎使用等。歸根結(jié)底，高效的光線(xiàn)追蹤硬件與智能開(kāi)發(fā)優(yōu)化相結(jié)合將是實(shí)現(xiàn)移動(dòng)設(shè)備實(shí)時(shí)光線(xiàn)追蹤的關(guān)鍵。

移動(dòng)設(shè)備游戲規(guī)則的變革者

光線(xiàn)追蹤正在為新一代PC和游戲機(jī)實(shí)現(xiàn)更真實(shí)的圖形掀起新的浪潮。這是有望引入移動(dòng)設(shè)備的技術(shù)，借助全新的高效專(zhuān)用硬件和設(shè)計(jì)技術(shù)。這是真正的游戲規(guī)則變革者。它將把世界上最龐大的游戲玩家群體帶向開(kāi)發(fā)者，為移動(dòng)設(shè)備制造商提供一種新的差異化方式，并實(shí)現(xiàn)全新的沉浸式移動(dòng)用戶(hù)體驗(yàn)。