炬芯科技周正宇博士如何打造低延遲高音質(zhì)無線音頻產(chǎn)品

??1877年，以愛迪生發(fā)明留聲機(jī)為起點(diǎn)，現(xiàn)代音頻產(chǎn)品開始出現(xiàn)，并充滿活力,不時(shí)地引領(lǐng)時(shí)尚風(fēng)潮;1964年卡帶機(jī)首次面世，80年代傳入中國，和牛仔喇叭褲一起成為80年代中國最時(shí)尚icon;1982年，第一臺(tái)CD機(jī)出現(xiàn)，開啟音樂數(shù)字化先河;2001年，蘋果發(fā)布第一款iPod。這100多年間，音頻產(chǎn)品的發(fā)展主要集中在存儲(chǔ)介質(zhì)的進(jìn)化以及模擬到數(shù)字的轉(zhuǎn)變。

??在2001年之后，音頻產(chǎn)品進(jìn)入高速發(fā)展時(shí)期，主要變化聚焦于網(wǎng)絡(luò)的音頻傳輸，包括近年的智能音箱，無線耳機(jī)等以PAN和WAN傳輸?shù)囊纛l產(chǎn)品。在這期間，蘋果通過兩款音頻產(chǎn)品給行業(yè)帶來了兩次巨變，第一次是iPod引起的MP3浪潮，第二次是Air?Pods造就的昨日當(dāng)紅炸子雞TWS耳機(jī)。

??這兩輪的音頻進(jìn)化都昭示著人類對(duì)美好聲音的追求是永無止境的，8月17日，南京，炬芯科技股份有限公司董事長(zhǎng)兼CEO周正宇博士，受邀出席2022中國IC領(lǐng)袖峰會(huì)，結(jié)合傳統(tǒng)音頻行業(yè)的發(fā)展趨勢(shì)及炬芯科技的最新產(chǎn)品技術(shù)進(jìn)展，發(fā)表主題演講：讓高品質(zhì)的聲音如影隨“行”。

??傳統(tǒng)音頻行業(yè)的未來發(fā)展

??對(duì)于傳統(tǒng)音頻行業(yè)未來發(fā)展方向，周正宇博士認(rèn)為主要發(fā)展趨勢(shì)可能是以下五個(gè)方向。

??第一個(gè)是無線化，從穿戴式的TWS耳機(jī)，再到7.1.4聲道的沉浸式無線音頻家庭影院都是無線化的標(biāo)志性應(yīng)用場(chǎng)景。

??第二個(gè)是低延遲，由于無線化的需求，必然產(chǎn)生了低延遲的需求和挑戰(zhàn)，這個(gè)挑戰(zhàn)是非常值得探討的重點(diǎn)。

??第三個(gè)是高音質(zhì)，人類對(duì)美好聲音永無止境的追求可以分成兩個(gè)維度，一個(gè)是采樣率的不斷提高，從過去CD時(shí)代的44.KHz或者48KHz，到現(xiàn)在高清或者Hi-Res的96KHz@24bit或者192K@24bit，再到發(fā)燒級(jí)別的384KHz@32bit;另一個(gè)是高保真度的升級(jí)，也就是所謂的THD+N，現(xiàn)在追求到-135dB，接近千萬分之一到千萬分之二左右的精度，雖然大部分人耳朵不能直接區(qū)分，但是仍會(huì)有不同的聽覺舒適度感受。

??第四個(gè)趨勢(shì)是音樂分享和多連接需求也會(huì)不斷提高。

??而最后第五點(diǎn)，以上所有的需求和變化都會(huì)持續(xù)伴隨著便攜化和低功耗的強(qiáng)需求，這也是未來音頻技術(shù)發(fā)展的不變法則。

??所有趨勢(shì)中最具有挑戰(zhàn)的正是在無線傳輸條件下如何在滿足高音質(zhì)前提下達(dá)成低延遲目標(biāo)。

??炬芯科技的過去、現(xiàn)在、未來

??回顧炬芯科技的前身炬力集成，是中國最早的大型芯片設(shè)計(jì)公司之一，憑借著MP3之王的全球最高市占，于2005年在納斯達(dá)克上市。

??作為在行業(yè)耕耘20多年的領(lǐng)軍人物，周正宇博士帶領(lǐng)的炬芯科技于2021年成功在國內(nèi)科創(chuàng)板上市，并一直深耕音頻技術(shù)領(lǐng)域。

??炬芯科技憑借在音頻領(lǐng)域20多年的技術(shù)積累和經(jīng)驗(yàn)，在多個(gè)領(lǐng)域做出了驕人成績(jī)。根據(jù)TSR統(tǒng)計(jì)報(bào)告顯示，2020年炬芯科技在品牌藍(lán)牙音箱市占位列全球第二;在2018年-2020年期間，炬芯科技TWS耳機(jī)芯片復(fù)合增長(zhǎng)率超過100%;2021年炬芯科技推出了雙模藍(lán)牙音頻智能手表芯片，并在2022年Q2終端品牌客戶量產(chǎn)出貨。炬芯科技的智能手表單芯片解決方案不僅滿足低功耗長(zhǎng)待機(jī)和高顯示幀率等剛需，同時(shí)支持可以手表上接聽手機(jī)電話，還支持本地音頻播放和藍(lán)牙發(fā)射，跑步時(shí)不用帶手機(jī)，帶著手表和耳機(jī)就可以聽音樂。

??過去炬芯科技的產(chǎn)品主要以低功耗作為核心價(jià)值，在低功耗下打造高音質(zhì)，在典型情況下，基于炬芯科技芯片方案的MP3音樂播放可持續(xù)20至30小時(shí)，TWS耳機(jī)聽歌的模式下使用時(shí)間達(dá)到8至10小時(shí)，手表典型使用場(chǎng)景下續(xù)航長(zhǎng)達(dá)10天左右。

??今天在繼續(xù)深耕低功耗的基礎(chǔ)上，炬芯科技進(jìn)而追求無線傳輸下的高音質(zhì)音頻，并抓住低延遲核心痛點(diǎn)來打造自身產(chǎn)品，基于最新炬芯科技芯片方案的Soundbar音頻傳輸延遲目標(biāo)低于15毫秒，無線電競(jìng)耳機(jī)延遲目標(biāo)低于20毫秒，無線麥克風(fēng)延遲目標(biāo)低于10毫秒。

??周正宇博士認(rèn)為：在過去，高品質(zhì)聲音如影隨“行”更多體現(xiàn)在便攜，實(shí)現(xiàn)產(chǎn)品隨身攜帶，讓人隨時(shí)隨地享受美好聲音;在未來，如影隨“行”被賦予新的內(nèi)涵，在體驗(yàn)無線音頻的同時(shí)，實(shí)現(xiàn)聲音和圖像的低延遲同步，最終呈現(xiàn)雙重維度的如影隨“行”。

??低延遲高音質(zhì)為音頻領(lǐng)域注入新的活力

??周正宇博士指出當(dāng)下音頻應(yīng)用場(chǎng)景中三個(gè)痛點(diǎn)應(yīng)用場(chǎng)景，進(jìn)一步強(qiáng)調(diào)低延遲下的高音質(zhì)將給當(dāng)下音頻市場(chǎng)注入新的活力。

??第一個(gè)應(yīng)用場(chǎng)景是家庭影院，過去是杜比digital或杜比digital?plus?5.1聲道，現(xiàn)在是杜比全景深7.1.4聲道。在7.1.4聲道中，前面有三個(gè)喇叭或者使用一個(gè)條形音箱(Soundbar)，后方有兩個(gè)，頭頂有兩個(gè)，再加一個(gè)低音炮。如果沒有預(yù)先埋線，低音炮，后方和頭頂喇叭需要用明線連接，這將嚴(yán)重影響美觀，由此產(chǎn)生了強(qiáng)烈無線連接的需求。無線連接的沉浸式家庭影院對(duì)音質(zhì)和低延遲的要求均很高，需要讓畫面跟音箱聲音之間是低延遲的(20毫秒以內(nèi))，否則就會(huì)感受到音視頻不同步。同時(shí)七個(gè)聲道之間相對(duì)延遲不能超過100微秒，并需要至少滿足五聲道的單向無線低延遲傳輸。這對(duì)低延遲下的高音質(zhì)技術(shù)提出了更高的要求。

??第二個(gè)應(yīng)用場(chǎng)景是無線電競(jìng)耳機(jī)，大家熟悉的TWS耳機(jī)除了通話和聽音樂這兩個(gè)基本訴求外，第三個(gè)訴求就是玩游戲。電競(jìng)游戲的快速發(fā)展和全球風(fēng)靡，使得游戲玩家對(duì)耳機(jī)的延遲要求非常高，如果延遲太長(zhǎng)，反應(yīng)太慢，玩家用戶體驗(yàn)和游戲競(jìng)賽效果都會(huì)受到很大影響。傳統(tǒng)游戲耳機(jī)為了保證低延遲和高音質(zhì)，基本都是有線形態(tài);近年來無線化需求不斷提升，早期無線電競(jìng)耳機(jī)主要采用私有協(xié)議2.4G，但采用私有協(xié)議2.4G除了功耗高以及成本高外，還有一個(gè)最大的問題，就是游戲過程中無法同時(shí)連接手機(jī)，容易錯(cuò)過手機(jī)來電，同時(shí)音頻品質(zhì)也不夠高。因此，藍(lán)牙雙模共存無線電競(jìng)耳機(jī)需求正不斷上升。

??第三個(gè)應(yīng)用場(chǎng)景就是無線麥克風(fēng)，短視頻直播風(fēng)口催生了無線麥克風(fēng)產(chǎn)品，它需要外觀小巧便攜，并且滿足非常低延遲的高品質(zhì)音頻傳輸要求，以實(shí)現(xiàn)音視頻同步，還需要支持兩發(fā)一收或多發(fā)一收，當(dāng)下炬芯科技的低延遲高音質(zhì)技術(shù)芯片，以及炬芯科技的客戶基于炬芯科技芯片所開發(fā)的低延遲無線麥克風(fēng)方案已經(jīng)在全球多個(gè)知名品牌中應(yīng)用。

??如何實(shí)現(xiàn)藍(lán)牙音頻傳輸?shù)牡脱舆t

??周正宇博士指出，藍(lán)牙音頻傳輸延遲來源主要有幾個(gè)。一是所有硬件本身所帶來的音頻延遲，比如說ADC、DAC所帶來的延遲;二是無線傳輸本身的發(fā)射和接受端帶來的延遲;三是為了增強(qiáng)抗干擾使用的重傳機(jī)制帶來的延遲;最重要的是無線音頻傳輸?shù)膸捪拗?，?dǎo)致音頻一定要做壓縮和解壓縮，不同的壓縮算法會(huì)引入壓縮和解壓縮所帶來的延遲;以及實(shí)現(xiàn)以上各技術(shù)功能需要的緩存機(jī)制。

??炬芯科技利用20多年音頻技術(shù)積累作為基礎(chǔ)，以及不斷的技術(shù)經(jīng)驗(yàn)總結(jié)，逐一攻克每一個(gè)產(chǎn)生延遲原因的技術(shù)關(guān)卡，最終凝結(jié)出以下音頻技術(shù)的核心：

??1、CPU+DSP雙核異構(gòu)音頻處理架構(gòu);

??2、算法軟件和硬件一體化的設(shè)計(jì)方法;

??3、以ADC和DAC為核心的音頻信號(hào)鏈，音頻ADC可以達(dá)到SNR?110dB，DAC可以達(dá)到SNR?120dB，延遲目標(biāo)均低于100微秒。

??低延遲高音質(zhì)技術(shù)第一代解決方案

??周正宇博士表示，炬芯科技基于自身的核心技術(shù)，抓住藍(lán)牙5.3?LE?Audio的技術(shù)特點(diǎn)和新機(jī)遇，針對(duì)三個(gè)痛點(diǎn)應(yīng)用場(chǎng)景，分別推出了相應(yīng)的第一代解決方案，也是基于最新藍(lán)牙標(biāo)準(zhǔn)范圍內(nèi)的技術(shù)創(chuàng)新。

??首先是ATS2835PL低延遲5.1聲道高音質(zhì)家庭影院解決方案，采用藍(lán)牙5.3?LE?Audio與經(jīng)典藍(lán)牙共存的模式，基于LC3+編碼的延遲可以低至15毫秒以下。相對(duì)2.4G私有協(xié)議功耗更低，并且音質(zhì)更高。它可以跟經(jīng)典藍(lán)牙共存，可支持五個(gè)聲道，家庭影院中的低音炮以及背后的兩個(gè)喇叭都可通過無線連接，通過藍(lán)牙LE?Audio?實(shí)現(xiàn)低延遲高音質(zhì)的無線音頻體驗(yàn)。

??再者是ATS2831PL低延遲高音質(zhì)無線電競(jìng)耳機(jī)方案，端到端的延遲小于20毫秒，相比經(jīng)典藍(lán)牙大幅降低。同時(shí)和PC/游戲主機(jī)/手機(jī)全面兼容，支持LE?audio和經(jīng)典藍(lán)牙共存，如果用戶戴著電競(jìng)耳機(jī)時(shí)電話進(jìn)來，可以把游戲暫停接電話，電話接完之后，可以再恢復(fù)到游戲，而不需要中斷游戲去用另外一個(gè)耳機(jī)接聽電話。同時(shí)它支持雙向48KHz高清語音傳輸，可以在單向的音樂和游戲音效外，同時(shí)滿足不同游戲玩家之間進(jìn)行高音質(zhì)語音對(duì)話的需求。

??最后也就是低延遲高音質(zhì)無線麥克風(fēng)解決方案，無線麥克風(fēng)是炬芯科技當(dāng)下把延遲做到極致的一個(gè)產(chǎn)品，延遲可以做到10毫秒以內(nèi)，集低延遲傳輸，高品質(zhì)音頻編解碼和AI降噪于一體，支持LC3+編解碼，支持兩發(fā)一收，全鏈路48KHz高清語音傳輸。目前炬芯科技的芯片已經(jīng)在Rode、科大訊飛、猛犸、綠聯(lián)等多家知名品牌的無線麥克風(fēng)產(chǎn)品中應(yīng)用。

??炬芯科技低延遲高音質(zhì)技術(shù)的三級(jí)跳

??為打造低延遲下的高音質(zhì)，周正宇博士提出三級(jí)跳計(jì)劃，首先是在藍(lán)牙標(biāo)準(zhǔn)允許的范圍內(nèi)，以LE?Audio?最新標(biāo)準(zhǔn)為契機(jī)將延遲做到10毫秒以內(nèi)。再是在類似藍(lán)牙音頻的大框架之下，全面創(chuàng)新自己的私有協(xié)議，來把低延遲高音質(zhì)拉到再上一個(gè)臺(tái)階—5毫秒以內(nèi)。最后引入更高帶寬的新型無線傳輸技術(shù)來打造低延遲高音質(zhì)—延遲低于2毫秒。

??1、藍(lán)牙5.3，LE?Audio

??根據(jù)藍(lán)牙SIG公布的最新標(biāo)準(zhǔn)LE?Audio，也就是藍(lán)牙5.3，相較于經(jīng)典藍(lán)牙它在協(xié)議層提供了更多實(shí)現(xiàn)低延遲的武器。

??如效率更高的編碼幀傳輸機(jī)制、可預(yù)測(cè)的包接收時(shí)間，更低延遲的編解碼LC3和LC3?plus技術(shù)等。這些新的技術(shù)變革已經(jīng)迅速的應(yīng)用于炬芯科技的產(chǎn)品，把過去經(jīng)典藍(lán)牙25毫秒以上的延遲目標(biāo)打造到10毫秒以下。

??2、提升2.4G和5.8G私有協(xié)議

??在2.4G和5.8G私有協(xié)議下追求更高的音質(zhì)和更低的延遲，首先通過進(jìn)一步增加無線傳輸?shù)膸挘偻ㄟ^研發(fā)自有的更低延遲的和傳輸高帶寬匹配的音頻編解碼技術(shù)，引入前向糾錯(cuò)的技術(shù)，對(duì)錯(cuò)誤的數(shù)據(jù)進(jìn)行糾正，整體系統(tǒng)化減少重傳，甚至不重傳，再加上輸入/輸出硬件的延遲優(yōu)化，從而實(shí)現(xiàn)延遲目標(biāo)到5毫秒以下。

??3、UWB超帶寬技術(shù)或類UWB技術(shù)

??通過UWB超帶寬技術(shù)或類UWB技術(shù)，不對(duì)數(shù)據(jù)進(jìn)行壓縮，從而不用編解碼，或者使用無損壓縮技術(shù)，SNR可以達(dá)到最優(yōu)，延遲也會(huì)最低，相較于窄帶寬具有更好的抗干擾性，不需要重傳或者少重傳，實(shí)現(xiàn)音頻的高音質(zhì)超低延遲傳輸，打造2毫秒以下的極致延遲目標(biāo)。

??周正宇博士最后總結(jié)道：回到人類對(duì)音頻體驗(yàn)的追求，希望炬芯科技以低延遲高音質(zhì)技術(shù)給音頻領(lǐng)域注入更多新的活力，真正實(shí)現(xiàn)讓高品質(zhì)的聲音如影隨“行”。