工業機器視覺-為智能制造提供堅實助力
隨著工業自動化和智能化的發展及持續推進和變革,機器視覺技術日益成熟,被廣泛應用在工業制造領域。機器視覺技術將成為關鍵的驅動力。與人類視覺相比,機器視覺優勢明顯,應用于工業機器視覺領域的圖像傳感器必須要具備“三高”要求,即“高精度”、“高準確度”和“高效率”。
本文引用地址:http://www.ex-cimer.com/article/202312/454266.htm在工業制造過程中,有些產品精密度較高,達到0.01~0.02mm甚至到u級。人類視覺是64灰度級,對微小目標分辨力弱,而機器視覺可顯著提高灰度級,可觀測微米級的目標,對一些產品質量要求較高的行業領域,可以完成人眼無法看到的待檢測物的精準檢測。同時由于相機的快門時間可達到微秒級別,也可以分辨人眼無法看清的快速運動目標。
人眼有物理條件的限制,也可能會受到主觀及身體精力等因素的影響,準確度無法得到保證。而機器視覺可適應不同場景檢測需求,靈活度較高,適應范圍廣,不受主觀控制;通過機器參數設置,可以以更高的準確度對檢測物進行檢查,并提供基于圖像的自動檢測和分析,進而根據判別的結果來控制現場的設備動作。在質控中大大提升效果可控性。
總體來說,工業機器視覺是軟硬件一體化的集成系統,它的目的是代替人眼對被測物進行觀察和判斷。從組成上,機器視覺系統硬件設備主要包括光源、鏡頭、相機等,軟件主要包括傳統的數字圖像處理算法和基于深度學習的圖像處理算法。系統工作時首先依靠硬件系統將外界圖像捕捉并轉換成數字信號反饋給計算機,然后依靠軟件算法對數字圖像信號進行處理。機器視覺可實現外觀檢測、識別驗證、尺寸量測、引導定位等功能。其功能主要分為四大類,從技術實現難度上來說,識別驗證、引導定位、尺寸測量、外觀檢測的難度是遞增的,而基于四大基礎功能延伸出的多種細分功能,在實現難度上也有差異。
根據元件的不同,圖像傳感器通??煞譃閮纱箢悾篊CD(電荷耦合器件 Charge-Coupled Device)CMOS(互補性金屬氧化物半導體元件 Complementary Metal-Oxide Semiconductor)無論是CCD還是CMOS,都是用光電二極管來感光,但CCD傳感器的像素單元,沒有獨立的讀出端,光照射每個像素產生電荷,并累積。由于CCD只有一個讀出端口,因此需要串行的將每個像素的電荷在像素之間進行轉移到輸出端口。將電荷轉換為電壓,進行放大和AD轉換得到圖像。就像是接力,將整列的電荷全部傳輸給讀出端,整列的電荷,全部轉換為電壓。
而CMOS的傳輸簡單,每個像素都有自己的電荷電壓轉換器,每個像素,單獨完成電荷轉換成電壓。因此造成了很多獨特的優缺點。也就是說CCD的像素信號,是電子包,而COMS的信號,是電壓。CCD和CMOS本質上講,都是光電二極管感光,主要差別主要在周邊電路上。
在工業視覺傳感器領域,無論是傳統的CMOS圖像傳感器,還是開始被廣泛應用的激光雷達,都開始朝著高精度、高速率的方向發展。而高速率這塊的技術路線我們基本都已經知曉了,比如CMOS圖像傳感器追求全局快門,固態和機械激光雷達都開始追求更快的掃描速度。為了實現更高的精度,圖像傳感器和激光雷達也在不斷推出芯片,從設計上尋求創新。
在PCBA檢測、半導體晶圓檢測以及太陽能面板光伏檢測中,都需要在固定的單位時間內盡可能檢測更大面積的線路板,從而提高生產制造的效率。這些要求轉換到圖像傳感器上,就成了更大的分辨率。
顯示面板隨著8K時代和OLED、MiniLED等技術的出現,對用于面板檢測的圖像傳感器也提出了更高的精度要求,將像素與像素之間的發光強度和色彩均勻度全部檢測出來。過去檢測LED面板的1顆像素,對應需要圖像傳感器上的9顆像素(3x3),而OLED面板則需要16顆(4x4)乃至25顆(5x5)像素,所以像素要求也就越來越高,從過去的3000萬像素,提高到現在上億的像素。
還有的工業相機需要在高速流水線上完成抓拍,快速讀取數據傳輸給上位機,同時也要預留一定的時間給算法軟件去分析和判斷,所以要求短曝光和高幀率,這也就是全局快門的圖像傳感器在工業領域中越來越常見的原因。
同時,不少工業檢測已經不再局限在可見光波段,越來越多的工業圖像傳感器開始專為近紅外(NIR)波段進行優化,比如在成分分析以及運動軌跡的抓拍中,都有這個需求,因此不少傳感器廠商都相繼推出了加強NIR波段下量子效率的產品。
從產品本身看,機器視覺會越來越趨于依靠PC技術,并且與數據采集等其他控制和測量的集成會更緊密。且基于嵌入式的產品將逐漸取代板卡式產品,這是一個不斷增長的趨勢。主要原因是隨著計算機技術和微電子技術的迅速發展,嵌入式系統應用領域越來越廣泛,尤其是其具備低功耗技術的特點得到人們的重視。另外,嵌入式操作系統絕大部分是以C語言為基礎的,因此使用C高級語言進行嵌入式系統開發是一項帶有基礎性的工作,使用高級語言的優點是可以提高工作效率,縮短開發周期,更主要的是開發出的產品可靠性高、可維護性好、便于不斷完善和升級換代等。因此,嵌入式產品將會取代板卡式產品。
機器視覺伴隨制造業的轉型升級和對品控要求的不斷加強,逐步實現核心技術的突破和下游應用場景的拓展。
在國外應用場景層面上,從80年代開始,由汽車、半導體等高端制造業的發展而開始發展;后續快速發展的消費電子 成為機器視覺最為重要的應用場景;各行各業對于生產制造的要求逐步提升也推動機器視覺在各行各業中逐步滲透。技術能力層面上,從早期基于模式匹配的2D逐步向以深度學習和3D視覺檢測為代表的新技術發展。
相對于國外,國內應用場景層面與我國制造業發展相匹配,最早應用在食品、印刷包裝等場景中應用,后續快速發展的3C電子成為最為重要的應用場景,近年來隨我國制造業的轉型升級如半導體、汽車以及新興產業的興起如新能源逐步滲透更多的應用場景。技術層面上,從早期依賴海外的技術到逐步實現核心技術的自研,目前在部分領域中已經達到全球 領先水平。
從機器視覺行業整體市場競爭來看,CMOS圖像傳感器行業目前是由國外廠商主導,如索尼、安森美、Teleydne e2v占據行業領先地位,國內傳感器公司緊跟市場行情和需求迎頭趕上的局面,如豪威,思特威等。
歐美是工業軟件的起源地,也是工業軟件應用的巨大市場,由于工業軟件在需求、知識、應用、數據等方面依賴于工業體系,工業軟件巨頭很多來自于制造業強國。但作為制造行業中的軟實力,在機器視覺行業的發展初期,國內的機器視覺行業的重點在于解決硬件的問題,從而忽略了軟件的開發,造成了當前在軟件行業的落后局面。由于我國還未全面實現工業自動化進程,相關企業缺乏經驗和人才積累,使得我國工業軟件市場長期被國外廠商產品所占據。
另外,由于機器視覺是自動化的一部分,沒有自動化就不會有機器視覺,機器視覺軟硬件產品正逐漸成為協作生產制造過程中不同階段的核心系統,無論是用戶還是硬件供應商都將機器視覺產品作為生產線上信息收集的工具,這就要求機器視覺產品大量采用“標準化技術”,直觀的說就是要隨著自動化的開放而逐漸開放,可以根據用戶的需求進行二次開發。當今,自動化企業正在倡導軟硬一體化解決方案,機器視覺的廠商在未來5-6年內也應該不單純是只提供產品的供應商,而是逐漸向一體化解決方案的系統集成商邁進。
在未來的幾年內,隨著AI技術的逐漸成熟,對于機器視覺的需求也逐漸增多;工業成像、計算機視覺和深度學習等新技術的更新迭代,基于人工智能技術的工業質檢得到了大幅發展。尤其是深度學習技術,因其在處理復雜工業圖像時展現出卓越的性能優勢,逐漸取代傳統技術,在工業質檢中占據主導地位,成為主流的解決方案。未來也會大量運用在工業場景中,圖像傳感器作為機器之眼,更是推動人工智能發展的一個元素。如今,AI已用于60%以上的計算機視覺應用程序中,而AI在制造應用程序中的增長已超過50%年復合增長率。用于成像的AI決策已從云過渡到邊緣,再遷移到與成像系統本身相鄰或并入其中的計算機系統?!?/p>
而且圖像傳感器并不需要參與AI計算的全部過程,訓練環節依然可以保留在GPU或者云端,而圖像傳感器只需要負責一些決策相關的預處理,比如在傳感器上集成用于圖像識別的卷積神經網絡層。不過AI運算本身需要大量的圖像數據,所以安森美的工作就是在維持采集圖像質量穩定的同時,盡可能去減少噪聲,并在傳感器中集成更多的優化算法方便使用者開發。
在AI質檢中,當缺陷模式已知,且有充足的標注數據時,一般采用監督學習(Supervised Learning)方法,這一方法也已在許多視覺任務上取得了較為成熟的發展與應用。
在無監督學習中,模型從未標記的數據中自動學習模式和結構,無需明確的監督信號或人工標簽。與監督學習不同,無監督學習僅需要易于獲取的正例樣本用于模型訓練,而不需要使用真實的缺陷樣本。它不僅能解決監督學習方法無法發現未知缺陷的問題,而且擁有比傳統方法更強的對圖像特征的表達能力。
目前,無監督學習方法在工業AI質檢中已取得令人振奮的進展。在背景較為簡單或固定的產品上,相關方法已達到了較高的性能。雖然在復雜背景的數據上,依然無法達到監督學習方法的精度,但它的優點在于對未知缺陷的檢測能力,和無需像素級精確標注。
與各類傳統人工方法相比,得益于AI技術在海量圖像、數據分析和處理上的優勢,AI工業機器視覺方案在執行效率、精度和一致性等方面都更具優勢,以缺陷檢測為例,其可為制造企業的質量控制流程帶來顯著優勢。
由高清設備與AI工業機器視覺技術構成的圖像采集、分析能力,可以為工業產線帶來高精度和高效率的作業模式,使產品檢測質量獲得有效提升,并實現檢測質量一致性。
AI工業機器視覺方案可借助5G網絡、邊緣計算等前沿技術,在現有產線側進行靈活升級部署,并基于云邊協同的架構來解決復雜的工業任務。
事實上,隨著設備成本的降低、圖像識別精度的提高以及算力算法的突飛猛進,近年來,AI 工業視覺方案在制造企業中獲得越來越多的應用與部署。一項市場預測報告顯示,從2022年到2030 年全球機器視覺市場的復合年增長率預期將達 7.7%并將最終達到 259.2億美元的市場規模。
而要想實現AI計算的集成,自然就離不開堆棧這一工藝技術。手機圖像傳感器由于出貨量大且利潤率高等原因,常常成為各大CMOS廠商先進技術的試驗田,比如堆棧、片上HDR等等,如今工業圖像傳感器也不例外。但伴隨著圖像傳感器的用途不再是感知這么簡單,如今不少處理與計算也要在傳感器內部完成,所以才需要用到多層堆疊的堆棧技術。
世界領先工業半導體廠商安森美(onsemi)提供豐富多樣的圖像傳感器選擇,從VGA到4500萬像素,滿足客戶各種機器視覺鏡頭需求。2023年3月16日,安森美宣布推出一款創新的圖像傳感器--AR0822。該器件的嵌入式高動態范圍(eHDRTM)功能和優化的近紅外(NIR)響應對于照明條件惡劣的應用至關重要,如安防監控、隨身攝像機、門鈴攝像頭和機器人。
安森美在車載圖像傳感器行業占據壓倒性地位得益于安森美的三次戰略收購。通過三次收購安森美在圖像傳感器方面積累超過2000項的成像專利、多類傳感器產品和擁有了完整的產業鏈。在高像素 CIS 領域,安森美于 2017 年推出首顆 800萬像素CIS, 借助在800萬像素高階市場的先發優勢,以及產品研發上的創新能力,安森美穩坐CIS頭把交椅。
安森美圖像傳感產品和技術在過去的幾年一直發展很迅速從Hyperlux LP系列圖像傳感器,配置Wake on Motion低功耗技術,其在這個核心領域投入很大的投入。隨著機器視覺在汽車、工業監控、AR/VR/XR頭戴設備、機器視覺和視頻會議等領域的應用越來越廣泛,預計到2030年底,相關市場將繼續快速增長。安森美的核心制勝主要推動力,一個是智能感知方面的圖像傳感器技術;在智能感知方面,安森美的圖像傳感器在全球汽車和工業市場排名全球前列。這方面的優勢表現,一是卓越的技術,適用于所有用戶場景的技術,包括全局快門、卷簾快門、圖像信號處理技術,具備完整的產業生態。
中國一直是安森美的重點市場,將持續順應中國的大趨勢下,發展智能電源和智能感知技術,推動2倍市場增長,持續聚焦汽車應用和工業市場,為客戶提供業務和技術支持。與戰略客戶的聯合實驗室和長期供應協議,都是發揮安森美價值的舉措。
在新基建和中國制造2025的各個領域中,圖像處理都發揮著越來越重要的作用,并帶來廣泛的機遇和挑戰。如何實現高性能、高靈活度、深入定制化的圖像設計,對產品的系統架構及性能都提出了更高的要求,成為相關企業脫穎而出的關鍵。在這些領域中。作為行業的領導者,AMD自適應與嵌入式器件憑借其全可編程架構、高性能、低功耗和靈活性等優勢,成為各領域智能制造應用的理想解決方案之一。
全球頂級半導體應用廠商Intel也對機器視覺提供完整的解決方案,套件包括視覺處理器、交鑰匙模塊、攝像頭、SDK 和計算機視覺庫。在機器人、3D掃描、無人機及測量領域發揮著重要作用,除了數字圖像采集和分析之外,機器視覺 (MV) 還搭配使用高速攝像頭和計算機來執行復雜的檢查任務。您可以將得到的數據用于模式識別、對象排序、機械臂控制等。FPGA 適用于 MV 攝像頭,使設計能夠適應各種圖像傳感器以及 MV 特定接口。FPGA 還可在邊緣計算平臺中用作視覺處理加速器,以利用人工智能深度學習的能力來分析 MV 數據。 MV應用包括:缺陷檢測、計量、導航、零件跟蹤和識別、光學字符識別和驗證 (OCR/OCV)、模式識別及封裝、產品、表面和網絡檢測,得益于AI, AD與計算機視覺在工業制造領域的積極作用,Al工業機器視覺技術正幫助更多制造企業提升產線效率,并在企業加速數字化、智能化轉型的過程中發揮重要作用。
針對各類AI方案在運行效率、部署便捷性、可擴展性以及數據安全性等方面遇到的挑戰,制造企業仍期望獲得更為高效、可在邊緣部署、且能將不同算法進行靈活部署與協同的AI工業機器視覺解決方案,來自英特爾的端邊云AI機器視覺解決方案可以提供堅實而靈活的平臺。
不僅如此,英特爾還在AI工業機器視覺生態的建設上,與ISV、SI、OEM、ODM 等伙伴開展強化合作,以邊緣平臺為抓手,不斷為客戶提供持續優化的方案與端到端的技術優勢,助力 AI 工業機器視覺方案在更多場景落地,釋放邊緣數據潛能,讓工業制造領域的智能化轉型變得更具效率。
在 AI、計算機圖像以及工業自動化等創新技術的推動下,更多制造企業正通過不同方式,將 AI工業機器視覺方案運用到缺陷檢測、機器人、預測性維護等場景之中,為傳統制造產線注入更多智能化元素,從而達到提升產能與質量、降低成本的效果。
評論