比亞迪電池焊后3D+AI視覺(jué)檢測(cè)
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對(duì)面交流
海量資料庫(kù)查詢
隨著3D相機(jī)在工業(yè)AI的普及，深度學(xué)習(xí)對(duì)3D點(diǎn)云和深度圖的分析方法也越來(lái)越多樣化。在3D計(jì)算機(jī)圖形中，Depth Map（深度圖）是包含與視點(diǎn)的場(chǎng)景對(duì)象的表面的距離有關(guān)的信息的圖像或圖像通道。其中，Depth Map 類似于灰度圖像，只是它的每個(gè)像素值是傳感器距離物體的實(shí)際距離。通常RGB圖像和Depth圖像是配準(zhǔn)的，因而像素點(diǎn)之間具有一對(duì)一的對(duì)應(yīng)關(guān)系，合成的四通道的圖像稱為RGB-D圖像。如下圖：
本文引用地址：http://www.ex-cimer.com/article/202310/452045.htm
在業(yè)內(nèi)，不少工作已經(jīng)將CNN引入在RGB-D圖像上的視覺(jué)任務(wù)上，這些工作中一部分直接采用4-channel的圖像來(lái)進(jìn)行語(yǔ)義分割。我們可以將3D點(diǎn)云做正射糾正，生成對(duì)應(yīng)的深度圖。再將2D圖像做同樣的仿射糾正，合成RGB-D圖像。我們可以壓縮數(shù)據(jù)量，將RGB圖像換成灰度圖，實(shí)際數(shù)據(jù)的通道數(shù)就只有兩個(gè)。在本項(xiàng)目的深度學(xué)習(xí)模型中，需要輸入是3通道，就要附加上全為0置的通道，而在Deep Learning的模型上增加通道注意力機(jī)制，能減少第三通道的計(jì)算。兩通道的圖片，在標(biāo)注工具里，只有一個(gè)通道可見(jiàn)，而三通道圖片帶來(lái)額外的好處，在標(biāo)注工具里是彩色的。
案例優(yōu)勢(shì)
深度學(xué)習(xí)和傳統(tǒng)算法分別都做不到0%漏判的情況下，如果互相結(jié)合，那么還是能夠做到0漏判。舉焊偏的例子，如下圖：
在毛刺不作為缺陷標(biāo)準(zhǔn)的情況下，Mark孔被毛刺遮蓋，用傳統(tǒng)算法就會(huì)得到焊偏的誤判。使用深度學(xué)習(xí)，無(wú)論是語(yǔ)意分割還是目標(biāo)檢測(cè)，都能檢出部分Mark孔，達(dá)到0漏判。另外，用深度學(xué)習(xí)語(yǔ)義分割焊跡，效果穩(wěn)定，不受測(cè)量距離變動(dòng)、亮度變化、亮邊的影響，分割精細(xì)?？蛊渌蓴_性能也很強(qiáng)，比如抗彩筆的標(biāo)記干擾能力強(qiáng)，得到的區(qū)域可用于測(cè)量焊寬。傳統(tǒng)算法的mIoU只有99%，而深度學(xué)習(xí)的mIoU達(dá)到99.89%。
新生產(chǎn)的產(chǎn)品，深度學(xué)習(xí)的樣本量少，訓(xùn)練效果不是最佳，但隨著樣本量增加，增量學(xué)習(xí)，效果會(huì)不斷提高。
在含有高度圖的多通道圖中，額外增加注意力機(jī)制必不可少，同時(shí)可以增加空間注意力，特征圖融合。下圖是神經(jīng)網(wǎng)絡(luò)的改造設(shè)計(jì)：
本案例產(chǎn)品界面
評(píng)論