全新的智能感知方案,安森美半導體助力自動駕駛發(fā)展
從第一次工業(yè)革命機械化到第二次工業(yè)革命電力化,到第三次工業(yè)革命計算機數(shù)字化,到現(xiàn)在第四代工業(yè)革命人工智能化、信息化。人工智能對人類社會的方方面面的影響和改變是遠遠超過計算機數(shù)字工業(yè)革命帶來的改變。斯坦福大學人工智能專家,“人工智能之父”Andrew Ng認為人工智能是新的電力,就像第二次工業(yè)革命電力給整個人類帶來的一個巨大的深入改變;數(shù)據(jù)是人工智能的動力和發(fā)動機,感知是數(shù)據(jù)的燃料。
本文引用地址:http://www.ex-cimer.com/article/202010/418988.htm為推動AI和第四次工業(yè)革命的進步,安森美半導體在感知上做了非常久的投入,包括圖像感知,多光譜、高光譜的感知,激光雷達感知、毫米波雷達感知、傳感器融合深度感知。9月25日,安森美半導體召開“智能感知策略及方案”在線媒體交流會,安森美半導體智能感知部全球市場和應用工程副總裁易繼輝向電子產(chǎn)品世界等媒體介紹了,公司在智能感知方面的新進展和策略。
圖像傳感器:技術(shù)先進 性能優(yōu)越
圖像傳感器示意圖
上圖是圖像傳感器的內(nèi)部結(jié)構(gòu),看起來像是高樓大廈,一共有六層,都是由半導體制成。市場上有一個誤區(qū),認為GPU和CPU是半導體里挑戰(zhàn)性和難度最高的,實際上和傳感器相比它是小巫見大巫。因為GPU和CPU里,它所要對付的主要在電子(Electron);但在圖像傳感器里,既要對付電子又要對付光子,光子和電子的結(jié)合使圖像傳感器變成非常復雜的半導體。未來還有更多芯片可以疊加起來,加上一些更智能化的,包括人工智能都可以直接放在圖像傳感器里。
圖像傳感的光電轉(zhuǎn)換過程:光子打進來以后轉(zhuǎn)換成電核,變成電信號,就相當于下雨時拿著水桶接雨,水桶越大接的雨量越大;同樣,容積越大,光子轉(zhuǎn)化成電子的電容、電荷量就越多。安森美半導體利用新技術(shù),在傳統(tǒng)小像素旁邊開個大的蓄水池,把多余的電荷流到這邊,從而使整個光強量、信息量提高,動態(tài)范圍增加。此技術(shù)多用在端攝影機里,比如好萊塢著名導演李安拍攝《少年派的奇幻漂流》使用的ARRI公司攝影機,就是用的安森美半導體的圖像傳感器?,F(xiàn)在,安森美逐漸將這個技術(shù)轉(zhuǎn)入汽車行業(yè),汽車的傳感器;接下來會逐漸轉(zhuǎn)入到工業(yè)機器視覺和其他領(lǐng)域。
Hayabusa系列產(chǎn)品用了這個技術(shù)以后,一次曝光就能實現(xiàn)95dB;經(jīng)過多次曝光可以達到120dB;未來的平臺,下一代的產(chǎn)品一次曝光有望達到110dB,多次曝光可以達到140dB。
100dB的寬動態(tài)是什么概念?以下圖為例,這是夜晚經(jīng)常碰到的場景,在這個場景下,車燈的寬動態(tài)范圍是102dB。如果傳感器只是70dB,這種場景很多細節(jié)是看不出來的。比如旁邊有一個行人,如果傳感器的寬動態(tài)不夠,不到100dB,是看不出來這有一個行人;若用在機器視覺,可能偵探不到有一個行人在車子旁邊。而安森美的110dB傳感器完全可以提供非常詳細的信息。
汽車感知的挑戰(zhàn)與方案
汽車感知的挑戰(zhàn)主要體現(xiàn)在成像上,具體來說有三個方面:
? 一是寬動態(tài)。大家開車的經(jīng)驗經(jīng)常是,路的方向是固定的,在路上開車時沒有辦法控制太陽什么時候在哪個方向,有的時候就需要逆著太陽開。在自動駕駛時,這樣的情況對攝像頭的要求就非常得高。大家也有許多的經(jīng)驗,在強光下,因為光線太強了,周圍一片黑,什么都看不見;從暗到亮,從車庫、隧道出來,如果寬動態(tài)不夠,可能根本沒有辦法看到或者只能看到暗處,或者只能看到亮處。
? 二是環(huán)境條件,車要能在東北零下幾十度的環(huán)境開,也能夠在沙漠開或者南方高溫條件下開。
? 三是對圖像傳感器來說很獨特的挑戰(zhàn):辨別LED指示牌、交通燈?,F(xiàn)在包括中國、歐洲、美國、日本、其他國家在公路上都已經(jīng)開始實行電子管控牌,都是用LED,對人來講非常舒服,老遠就看得清清楚楚,很明亮,特別是夜晚。但這樣的LED因為閃爍頻率沒有標準,不一樣。所以,圖像傳感器有的時候容易因為頻率不同步,經(jīng)常捕捉不到信號。對駕駛員人眼來看沒有太大問題,但對機器視覺就是很大的挑戰(zhàn)。過去的方案都是在軟件里來解決,現(xiàn)在解決方案都已經(jīng)做到芯片級了,做到硬件里面去直接解決掉。
汽車自動駕駛成像的多樣化,包括外部感知、內(nèi)部感知、增強視覺。外部感知非常復雜,包括遠近、大小車輛、自行車;行人,大人、小孩、老人;一些路標、車線,斑馬線,交通燈;要全天候的,白天,晚上,刮風,下雨,下雪,霧天;各個季節(jié),春、夏、秋、冬都要能夠?qū)崿F(xiàn)這樣的感知,環(huán)境非常多樣化。
內(nèi)部感知,從最早只是對駕駛員的疲勞監(jiān)控(從看駕駛員眼睛的注意力和睫毛的抖動偵查出是否疲勞),逐漸地擴大到駕駛員有沒有在用手機,有沒有分散精力,有沒有系好安全帶,還進一步擴大到乘客的感知。這也是一個未來新興市場。
視覺增強,主要是為了給駕駛員和乘客提供更好的視覺感知,包括電子后視鏡,不需要回頭就能在后視鏡直接看到真正的電子圖像;而且這種疊加,特別是把高清地圖和真實路況疊加起來,告訴你前面哪里有加油站,哪里有重要的景點,哪里有紅綠燈。這些都是視覺增強的應用,讓駕駛員能夠更安全地駕駛。
針對智能駕駛艙解決方案,安森美半導體有兩款百萬像素的解決方案,在業(yè)界很受歡迎。該公司的AR0144AT在整個業(yè)界用量是最大的一款。智能駕駛艙里的一個挑戰(zhàn)是,目前的攝像頭尺寸太大了,18×18cm3,最小的也是3×3cm3,安森美半導體和合作伙伴一起開發(fā)了0.5×0.5cm3非常小型的攝像頭,放在車里乘客、駕駛員基本上都不會看得到。
當然,安森美半導體不光只是提供單一的產(chǎn)品,比如圖像傳感器和信號處理器(ISP),還提供很多其他的器件,包括二極管、LDO、電源管理IC。同時,安森美半導體的一個獨特優(yōu)勢是,在設(shè)計新的下一代圖像處理器時,可以和其他產(chǎn)品部門合作,來探討怎么樣開發(fā)相應的電子產(chǎn)品、器件,使攝像頭能夠達到最優(yōu)化。這是其他圖像處理器公司沒有辦法做到的。
安森美半導體能夠給客戶提供一站式的服務以及最優(yōu)化的系統(tǒng)設(shè)計方案,再加上悠久的生產(chǎn)汽車元器件的歷史,其他元器件的車規(guī)、功能安全已經(jīng)能夠?qū)崿F(xiàn)ASIL-B程度。安森美半導體的元器件都是按照公司統(tǒng)一的質(zhì)量系統(tǒng),擁有統(tǒng)一的可靠性能,統(tǒng)一的售后服務提供給客戶。
作為在行業(yè)內(nèi)第一個先做起生態(tài)系合作伙伴系統(tǒng)的公司,安森美半導體目前已經(jīng)開發(fā)超過50家合作伙伴,從光學鏡片到信號處理器,I/O、Interface接口、SoC處理器、軟件系統(tǒng),都已經(jīng)有很多的合作伙伴。
工業(yè)機器視覺和邊緣AI
工業(yè)4.0、工業(yè)自動化、人工智能使機器視覺市場快速發(fā)展,特別是在國內(nèi)。邊緣人工智能不斷地、幾乎每年會出現(xiàn)一些新領(lǐng)域,比如新零售,智慧農(nóng)業(yè)、畜牧業(yè)和農(nóng)業(yè)都開始了智能化。一些新興設(shè)備,特別是在新冠狀病毒以后的后疫情時期有一些大的趨勢:
? 一是遠程化。遠程教學、遠程醫(yī)療會越來越普遍。
? 二是無人化,例如無人送貨車、無人商店,減少人和人之間的接觸,即無接觸化。不需要開門抓手把,不需要去推門,減少一些傳染。
? 還有一方面就是COVID-19的檢測,安森美半導體和世界上很多公司都在合作開發(fā)COVID-19病毒檢測設(shè)備。
1.3英寸固定尺寸的圖像傳感器的發(fā)展趨勢
上圖是1.3英寸固定尺寸的圖像傳感器在這些年的發(fā)展趨勢。從圖上可以看出,一是同樣圖像傳感器的分辨率在逐年提升,從過去的200萬像素,500萬,800萬,1200萬,現(xiàn)在達到超過2000萬。二是噪聲導數(shù),相當于圖像質(zhì)量,在同樣大小的尺寸下的圖像傳感器逐年隨著像素的增大,圖像質(zhì)量也是不斷地提高。三是帶寬也是在逐年提高,29×29mm2標準的工業(yè)用攝像頭,在十年以前可能只是200萬像素,后來逐漸增加到300萬、500萬、1200萬,今年已經(jīng)能夠用到1600萬像素。
安森美半導體的產(chǎn)品如上圖一樣都在逐代提高,性能的提高離不開靠技術(shù)的推動。安森美半導體在技術(shù)上有很深的積累:
? 全局快門,使在高速運動下使圖像不會有拖影。
? 內(nèi)校正,像素內(nèi)的校正,以前都是在系統(tǒng)里通過軟件校正,現(xiàn)在直接做到硬件里,像素內(nèi)部去做圖像校正。
? 工藝節(jié)點,從110納米到65納米,再到45納米,甚至更小,充分利用了摩爾定律的優(yōu)勢,即成本、尺寸、耗電量都在逐年下降。
? 背照式,在同樣尺寸下,分辨率越來越高,像素尺寸可能越來越小,感光量、感光度;特別是暗光下,性能可能就會降低,背照式就是用來提高感光能力。
? 堆棧架構(gòu),以后就不光是兩維空間了,而是三維,堆棧式,兩次堆棧,三次堆棧都有可能實現(xiàn)。
? 以后不光把模擬和數(shù)字信號放在第二層,甚至于人工智能一些算法放在第三層里,整個圖像傳感器就是高智能化的圖像傳感器。
安森美半導體的XGS系列圖像傳感器,從200萬像素一直到4500萬像素,有11款不同像素的產(chǎn)品。該系列有個最大的特點,客戶只需要兩塊線路板設(shè)計就能支撐11款不同的傳感器,相對于11個線路板就節(jié)省了大量的成本和時間。我該系列的產(chǎn)品性能有極大的提高,包括幀數(shù)、寬動態(tài)、暗電流。其中,29×29mm2這款攝像頭,創(chuàng)造了行業(yè)第一;它可以用到1600萬像素的攝像頭里。下面介紹幾個XGS系列圖像傳感器的具體應用。
1.平板檢測
平板檢測是整個工業(yè)機器視覺行業(yè)中,對圖像傳感器最有挑戰(zhàn)性的應用。它從1K、2K、4K一直到8K,像素在逐漸擴大。檢測過程分兩步:第一步是暗檢測,上電前主要檢測一些指紋、劃痕和其他物理上的問題;第二步是上電以后,特別是在OLED,加上最新的AMOLED(Active Matrix OLED)。
LED是有一個亮板在后面作為發(fā)光源,而OLED,特別是AMOLED,它的每個像素都是一個單獨發(fā)光源。像素和像素之間發(fā)光的強度和色彩的均勻度都要能夠很準確地偵測出來,這就對圖像傳感器的要求非常高。過去檢測LED面板上的1顆像素,對應需要9顆像素(3×3),OLED則對應需要16顆(4×4),甚至25顆(5×5)像素。所以對圖像傳感器的像素要求越來越高,從4,500萬要到1.5億像素,甚至超過2億像素。
2.監(jiān)控和廣播
另一個是廣播、監(jiān)控的應用。在同樣的圖像質(zhì)量情況下,像素越大版面越大,如8K。下圖是安森美半導體的最新款4500萬像素的圖像傳感器,這款傳感器已經(jīng)被客戶選中,將來會用到東京奧林匹克的會場上。它還有一個很大的優(yōu)勢是速度非常快,每秒60幀,12bit。
3.PCB檢測
在工業(yè)制造里,勞動生產(chǎn)率是降低成本很主要的因素,線路板檢測的勞動生產(chǎn)率,就是在固定單位時間內(nèi)所能檢測的線路板面積越大,勞動生產(chǎn)效率就會越高。相對圖像傳感器來講,單位時間內(nèi)收集信息量越大,生產(chǎn)效率就越高。安森美半導體的這款PCB檢測圖像傳感器是2100萬像素,競爭對手的是500萬像素和1300萬像素,信息采集量比競爭對手能大了4倍,能夠成倍地提高勞動生產(chǎn)率。
即將推出的4K傳感器
安森美半導體即將推出一款4K圖像傳感器,下圖是該產(chǎn)品的寬動態(tài)效果圖。這個場景人眼是完全不能看的,非常刺眼,眼睛睜不開。而這款圖像傳感器不光能夠看清場景,連燈絲都能看得非常清楚。而0.2cd/cm2光照量非常低和190,000cd/cm2光照量非常高的兩種情況并存時,兩處場景都能看到,這非常不容易,已經(jīng)超過了人眼能力。還有一個特點就是過渡噪聲非常小,黑暗與明亮交界的地方輪廓非常清晰。這樣清晰的數(shù)據(jù)給人工智能提供了大量的可靠數(shù)據(jù),在這種場景下,如果人工智能完全沒有辦法辨識和識別物體,這款傳感器就能夠提供更多的信息。
另外,這款傳感器還有很好的低照度能力,下圖是0.2勒克斯,幾乎非常暗的光線下能夠看得非常清楚。
激光雷達
激光雷達的傳統(tǒng)技術(shù)是APD,叫做雪崩光電二極管。它的缺點是體積大、功耗高、偵測距離范圍有限、一致性不好。安森美半導體用的技術(shù)叫做SiPM(硅光電倍增管),優(yōu)勢在于它的增益是APD的1萬倍,靈敏度是APD的2000倍,工作電壓要求非常低,只要30V,而APD要250V。它的一致性非常好,特別在大批量生產(chǎn)的時候可以批量化。
安森美半導體的激光雷達產(chǎn)品有單點的,例如在醫(yī)療、工業(yè)、汽車都有應用;還有新開發(fā)出來的陣列,1×12或1×16,下一代的激光雷達都會用到這樣的產(chǎn)品。最新開發(fā)出來的叫做SPAD面陣,是400×100,已經(jīng)不是點云了,已經(jīng)和圖像傳感器差不多了,相當于是一個圖像,將來完全可以實現(xiàn)有深度信息的圖像。
毫米波雷達
毫米波雷達的適用范圍有:L1、L2、L3、L4、L5。在不同自動駕駛的級別上有不同的應用。安森美半導體的下一代毫米波雷達產(chǎn)品的重點是放在L3上。用的技術(shù)叫做“MIMO+”,是安森美半導體的專利,是新開發(fā)出來的技術(shù)。它能夠提供4D的信息,R是距離,V是速度,A是角度,E是高度,能夠提供四維信息,用于L3層級的自動駕駛。
與競爭對手相比,安森美半導體的MIMO+加上實際通道、虛擬通道,要比競爭對手多一倍的通道。同樣性能的毫米波雷達,安森美的可以節(jié)省50%的mmIC器件、減少優(yōu)化控制器、線路板,降低總體成本。同時,還會開發(fā)雷達信號處理,安森美的對外聯(lián)接接口是按照行業(yè)標準,不管是現(xiàn)有標準還是未來發(fā)展標準。
結(jié)語
安森美半導體未來的方向?qū)@3D成像、高光譜和多光譜成像三個方面,但現(xiàn)有的方案都是在系統(tǒng)上解決。比如3D就是雙目,兩個攝像頭,或者結(jié)構(gòu)光來解決;高光譜、多光譜,是用多個鏡頭或者多個相機在系統(tǒng)里合成。安森美半導體希望把這些困難和問題,在半導體層面用摩爾定律來解決,從而達到降低成本,縮小尺寸、降低功耗的目的。
評論