計(jì)算機(jī)視覺(jué)在對(duì)蝦養(yǎng)殖業(yè)的應(yīng)用實(shí)踐*

摘要：針對(duì)傳統(tǒng)水產(chǎn)養(yǎng)殖業(yè)中養(yǎng)殖過(guò)程中容易受到養(yǎng)殖人員的個(gè)人經(jīng)驗(yàn)從而導(dǎo)致養(yǎng)殖效率低下、能源損耗嚴(yán)重等問(wèn)題，本文融合計(jì)算機(jī)視覺(jué)、人工智能、圖像處理等技術(shù)，應(yīng)用于對(duì)蝦養(yǎng)殖業(yè)中并展開(kāi)實(shí)踐。首先在水下投放雙目攝像機(jī)把拍取的對(duì)蝦圖像和視頻上傳至PC端，使用YOLOv5深度學(xué)習(xí)模型對(duì)蝦體圖像進(jìn)行訓(xùn)練達(dá)到精準(zhǔn)識(shí)別的效果，然后根據(jù)一系列的圖像處理等步驟得到分割后的蝦體圖像，最后基于最小矩形法尋得最優(yōu)測(cè)量點(diǎn)并根據(jù)雙目視覺(jué)算法把二維坐標(biāo)轉(zhuǎn)換為三維坐標(biāo)得到對(duì)蝦的體長(zhǎng)及平均生長(zhǎng)率。該實(shí)踐方法可運(yùn)用到中小型的工廠(chǎng)化對(duì)蝦養(yǎng)殖場(chǎng)和鄉(xiāng)村對(duì)蝦養(yǎng)殖基地，提高養(yǎng)殖效率，降低養(yǎng)殖成本。

*河北省校級(jí)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目（X2021220）

1   研究背景

一直以來(lái)，我國(guó)在水產(chǎn)養(yǎng)殖行業(yè)的產(chǎn)出量有增無(wú)減，隨著互聯(lián)網(wǎng)、人工智能技術(shù)的發(fā)展，我國(guó)新一代信息產(chǎn)業(yè)與水產(chǎn)養(yǎng)殖業(yè)深度融合技術(shù)在全世界有著舉足輕重的地位^[1]。目前，我國(guó)的南美白對(duì)蝦養(yǎng)殖應(yīng)用科技成果，可以實(shí)現(xiàn)高密度短周期的養(yǎng)殖模式，這大大帶動(dòng)了工廠(chǎng)化對(duì)蝦養(yǎng)殖廠(chǎng)以及鄉(xiāng)村農(nóng)業(yè)的經(jīng)濟(jì)發(fā)展，推動(dòng)鄉(xiāng)村振興的進(jìn)一步發(fā)展，帶動(dòng)農(nóng)村就業(yè)^[2]。但是，該領(lǐng)域也存在著很多痛點(diǎn)問(wèn)題，諸如：養(yǎng)殖人員依靠經(jīng)驗(yàn)估計(jì)對(duì)蝦生長(zhǎng)基本情況存在誤差、養(yǎng)殖經(jīng)驗(yàn)不足導(dǎo)致養(yǎng)殖利潤(rùn)低、養(yǎng)殖過(guò)程中不能合理調(diào)配投料、換水的量和頻率。這會(huì)在一定程度上導(dǎo)致行業(yè)產(chǎn)量低、對(duì)蝦品質(zhì)差等結(jié)果，影響總體發(fā)展。

以上的行業(yè)痛點(diǎn)抑制了我國(guó)互聯(lián)網(wǎng)技術(shù)與農(nóng)業(yè)領(lǐng)域的深度融合，調(diào)查痛點(diǎn)并研究一套智能方法來(lái)緩解這種矛盾，使水產(chǎn)養(yǎng)殖業(yè)從傳統(tǒng)“經(jīng)驗(yàn)型”向“精準(zhǔn)型”工廠(chǎng)化養(yǎng)殖升級(jí)轉(zhuǎn)變，是當(dāng)下我們要完成的任務(wù)。

首先，對(duì)于傳統(tǒng)對(duì)蝦養(yǎng)殖行業(yè)中養(yǎng)殖人員只能在養(yǎng)殖池放置小型料臺(tái)來(lái)獲取對(duì)蝦生長(zhǎng)狀況和了解對(duì)蝦飼料投喂情況，不能實(shí)時(shí)、快速地了解并且掌握對(duì)蝦的實(shí)時(shí)生長(zhǎng)狀況這一痛點(diǎn)，其次，傳統(tǒng)水產(chǎn)養(yǎng)殖行業(yè)中養(yǎng)殖人員投料、增氧、換水的頻率和數(shù)量都依賴(lài)于養(yǎng)殖員的個(gè)人經(jīng)驗(yàn)，使得養(yǎng)殖過(guò)程可能受到個(gè)人經(jīng)驗(yàn)導(dǎo)致會(huì)導(dǎo)致對(duì)蝦養(yǎng)殖效率低下，死亡率高等現(xiàn)象。

本次應(yīng)用實(shí)踐采用?？低曀聰z像頭，使養(yǎng)殖人員足不出戶(hù)就可以掌握對(duì)蝦的生長(zhǎng)狀況，并且可以在非接觸的情況下得到對(duì)蝦的尺寸和生長(zhǎng)率，在降低養(yǎng)殖人員工作量的情況下輔助工作人員調(diào)整養(yǎng)殖方案，合理的控制投料、增氧、換水的頻率和數(shù)量。

2   設(shè)計(jì)思路

本文方法通過(guò)水下雙目攝像頭對(duì)蝦體進(jìn)行圖像采集， 采集到的視頻圖像實(shí)時(shí)傳送到PC 端， 配合YOLOv5 深度學(xué)習(xí)算法進(jìn)行圖像識(shí)別，精準(zhǔn)識(shí)別蝦體，切片后對(duì)蝦體進(jìn)行圖像分割等圖像處理步驟后進(jìn)行蝦體體長(zhǎng)及生長(zhǎng)率的計(jì)算。根據(jù)蝦體生長(zhǎng)、平均生長(zhǎng)率情況進(jìn)一步制定并且調(diào)整養(yǎng)殖方案，來(lái)提高對(duì)蝦的養(yǎng)殖效率并且降低死亡率，達(dá)到智能、精準(zhǔn)、高效的對(duì)蝦養(yǎng)殖目標(biāo)。

本次方法實(shí)踐包括四大步驟，分別是數(shù)據(jù)集的獲取與制作、YOLOv5 深度學(xué)習(xí)模型訓(xùn)練、水下蝦體尺寸測(cè)量、平均生長(zhǎng)率計(jì)算，其中運(yùn)用雙目視覺(jué)算法求得蝦體尺寸方法包括視差圖分析、OPENCV 圖像處理得到分割圖像，最小矩形法尋優(yōu)尺寸測(cè)量點(diǎn)。本次實(shí)踐運(yùn)用計(jì)算機(jī)視覺(jué)、大數(shù)據(jù)、人工智能等技術(shù)，輔以資深養(yǎng)殖人員的多年養(yǎng)殖經(jīng)驗(yàn)，在一定程度上實(shí)現(xiàn)蝦類(lèi)養(yǎng)殖的定量化、客觀(guān)化，將是養(yǎng)殖領(lǐng)域發(fā)展的大趨勢(shì)。

2.1 數(shù)據(jù)集準(zhǔn)備

2.1.1 雙目攝像頭校準(zhǔn)

由于水下折射成像會(huì)導(dǎo)致測(cè)量誤差，因此在水下攝像機(jī)投放之前，首先使用相機(jī)對(duì)棋盤(pán)格點(diǎn)進(jìn)行角點(diǎn)提取，進(jìn)而調(diào)焦獲取相機(jī)的參數(shù)，矯正相機(jī)畸變的問(wèn)題，然后拍攝圖像^[3]。

圖1 攝像頭對(duì)棋盤(pán)格進(jìn)行角點(diǎn)提取

2.1.2 圖像數(shù)據(jù)集準(zhǔn)備

通過(guò)在養(yǎng)殖場(chǎng)投放水下雙目攝像頭捕獲不同生長(zhǎng)時(shí)期水下蝦體圖像，由于實(shí)驗(yàn)室搭建1.5×2×1 米的水箱拍攝的水下蝦體圖像數(shù)據(jù)規(guī)模較小不足以支持精確的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，為保證模型的精準(zhǔn)性和應(yīng)用的廣泛性，通過(guò)網(wǎng)絡(luò)搜集到的南美白對(duì)蝦圖像、公共數(shù)據(jù)集PASCAL VOC、COCO、Image Net 等以及利用實(shí)驗(yàn)室實(shí)地拍攝養(yǎng)殖的對(duì)蝦圖片，建立了一個(gè)包含21509 張水下對(duì)蝦圖片數(shù)據(jù)庫(kù)。

由于南美白對(duì)蝦白天一般靜伏池底，晚上則活動(dòng)頻繁，因此本項(xiàng)目實(shí)際采集時(shí)主要在22:00-6:00 的時(shí)間段，每隔20 s 采集一次，每次采集2 張，最后經(jīng)人工篩選剩余大概500 張作為該天的數(shù)據(jù)采集，對(duì)這些圖片使用幾何變換、添加噪聲、顏色抖動(dòng)等手段進(jìn)行數(shù)據(jù)增強(qiáng)，最終建立起適合訓(xùn)練的、含有較少噪點(diǎn)的南美白對(duì)蝦實(shí)地?cái)?shù)據(jù)庫(kù)。

將數(shù)據(jù)增強(qiáng)后的圖像使用LabelImage 對(duì)蝦體進(jìn)行手動(dòng)框選標(biāo)注，數(shù)據(jù)集采用YOLO 格式。其中，每張圖片中有幾個(gè)目標(biāo)框代表該張圖像上標(biāo)注了多少只對(duì)蝦，未標(biāo)注的部分是背景。

為了使得模型能過(guò)得到清晰的特征，從而學(xué)習(xí)到正確的知識(shí)，這里通過(guò)人工篩選的方式，剔除包含以下特征的圖片：（1）水中雜質(zhì)的遮擋；（2）圖像過(guò)于模糊；（3）蝦體形態(tài)過(guò)于彎曲（由于彎曲度造成計(jì)算長(zhǎng)度誤差）；

圖2 原始數(shù)據(jù)集部分圖像

圖3 數(shù)據(jù)增強(qiáng)后部分圖像

2.2 基于YOLOv5的蝦體檢測(cè)

YOLOv5 的深度學(xué)習(xí)模型，借鑒CSPNet 網(wǎng)絡(luò)結(jié)構(gòu)，為了防止模型因訓(xùn)練不足導(dǎo)致欠擬合和訓(xùn)練次數(shù)過(guò)多導(dǎo)致過(guò)擬合，本文采用自己采集的數(shù)據(jù)集進(jìn)行訓(xùn)練，這將大大提高模型的準(zhǔn)確率。把數(shù)據(jù)集的對(duì)蝦圖片以8:2 的比例劃分訓(xùn)練集和驗(yàn)證集。其中，對(duì)蝦識(shí)別模型的權(quán)重參數(shù)從訓(xùn)練集中得出，驗(yàn)證集的結(jié)果用來(lái)對(duì)識(shí)別模型進(jìn)行驗(yàn)證并評(píng)估模型精度，最后通過(guò)微調(diào)參數(shù)的方法完善模型結(jié)果，提高模型的精度和穩(wěn)定性。

網(wǎng)絡(luò)模型訓(xùn)練階段，Batch size 設(shè)置為64^[4]，權(quán)重的衰減系數(shù)為0.001，有利于防止過(guò)擬合，迭代次數(shù)Epoch 設(shè)置為為300 次，初始學(xué)習(xí)率設(shè)置為0.001，當(dāng)Epoch 等于100 和150 的時(shí)候，把學(xué)習(xí)率設(shè)置為0.0001和0.00001。在Epoch 為200 的時(shí)候，模型精度較高，達(dá)到收斂。

圖4 YOLOv5訓(xùn)練曲線(xiàn)

平均精度均值是所有類(lèi)別的平均精度求和除以數(shù)據(jù)集中所有類(lèi)的平均精度的平均值，當(dāng)Epoch 等于30 的時(shí)候，mAP 近似為1。召回率，是模型把正確的類(lèi)別預(yù)測(cè)為正值的概率。由公式知，代表模型把正確的類(lèi)別預(yù)測(cè)為正值的數(shù)量，F(xiàn)N 代表模型把正確的類(lèi)別預(yù)測(cè)為負(fù)值的數(shù)量^[5]。在模型迭代到20 次時(shí)，已經(jīng)達(dá)到0.9 以上，可見(jiàn)模型的精度較高。

本模型的損失函數(shù)是GIOU_loss，如下公式所示，由訓(xùn)練過(guò)程圖片得到，當(dāng)Epoch 為250 的時(shí)候，已經(jīng)小于0.015，當(dāng)Epoch 為300 的時(shí)候，下降到0.01，保持穩(wěn)定。

查準(zhǔn)率，是數(shù)據(jù)集中被模型預(yù)測(cè)為正確的總樣本數(shù)/實(shí)際的總樣本數(shù)，如下式所示。當(dāng)Epoch 為200 次的時(shí)候，查準(zhǔn)率達(dá)到0.9 以上。

2.3 基于雙目視覺(jué)的對(duì)蝦尺寸計(jì)算

對(duì)YOLOv5 檢測(cè)完的每一只蝦體圖像進(jìn)行切片操作后，基于最小矩形法尋找最佳尺寸測(cè)量點(diǎn)，之后通過(guò)水下坐標(biāo)點(diǎn)的二、三維轉(zhuǎn)換關(guān)系獲取最佳測(cè)量點(diǎn)的三維坐標(biāo)，進(jìn)而根據(jù)算法實(shí)現(xiàn)對(duì)蝦長(zhǎng)度的無(wú)接觸測(cè)量。

圖5 基于YOLOv5蝦體檢測(cè)結(jié)果圖

圖6 基于雙目視覺(jué)的無(wú)接觸蝦體尺寸測(cè)量方法流程

2.3.1 求取視差圖

根據(jù)查閱文獻(xiàn)得到立體匹配求取視差圖像方法，公式如下：

其中，m、n 表示兩個(gè)攝像頭對(duì)應(yīng)的像素點(diǎn)。

2.3.2 蝦體區(qū)域分割

2.3.3 基于最小矩形法尋找蝦體尺寸最佳測(cè)量點(diǎn)

首先把目標(biāo)分割后的彩色圖像二值化^[6]，蝦體為白色，背景為黑色。然后基于最小矩形法在目標(biāo)分割后的圖像里尋找最優(yōu)測(cè)量點(diǎn)，最后，在外接矩形中找到面積最小的矩形，通過(guò)測(cè)量矩形的長(zhǎng)度得到對(duì)蝦的長(zhǎng)度。如圖所示，矩形為蝦體目標(biāo)的最小外接矩形示例。

圖8 基于最小矩形法尋找蝦體尺寸最佳測(cè)量點(diǎn)流程

圖9 蝦體最小包圍矩形與最佳尺寸測(cè)量點(diǎn)選取

得到面積最小的矩形之后，本文近似地以最小包圍面積的矩形的長(zhǎng)邊為參照，獲得一條長(zhǎng)邊的兩個(gè)端點(diǎn)M、N，這兩個(gè)端點(diǎn)就是水下蝦體自然情況下的體長(zhǎng)。上圖是蝦體最小外接矩形與最佳尺寸測(cè)量點(diǎn)示意圖。最后根據(jù)雙目視覺(jué)算法，把確定的二維像素點(diǎn)的坐標(biāo)通過(guò)坐標(biāo)系變換轉(zhuǎn)換為空間三維坐標(biāo)，進(jìn)而依據(jù)公式獲取到最佳測(cè)量點(diǎn)的空間三維坐標(biāo)M（X_M,Y_M,Z_M）、N（X_N,Y_N,Z_N），最后根據(jù)歐式距離等式可以計(jì)算得到水下蝦體體長(zhǎng)實(shí)際尺寸S。

像素坐標(biāo)：

將當(dāng)前階段拍攝到的所有蝦體體長(zhǎng)取平均后，得到當(dāng)前階段蝦池平均體長(zhǎng)，將該數(shù)值與正常養(yǎng)殖情況下該階段蝦體體長(zhǎng)進(jìn)行數(shù)值擬合，分析當(dāng)前養(yǎng)殖效果是否達(dá)到對(duì)蝦正常生長(zhǎng)狀態(tài)^[7]。

2.4 生長(zhǎng)率計(jì)算

將同時(shí)期所拍攝的大量蝦體體長(zhǎng)取平均后（每3 天為一周期），根據(jù)這一數(shù)據(jù)與上一測(cè)量周期所得數(shù)據(jù)求取這段時(shí)間內(nèi)的蝦體生長(zhǎng)率，依據(jù)下述公式計(jì)算某一生長(zhǎng)周期的生長(zhǎng)率：

生長(zhǎng)率=（某一周期蝦體長(zhǎng)度- 前一周期蝦體長(zhǎng)度）/前一周期蝦體長(zhǎng)度

在正常養(yǎng)殖情況下采用捕撈測(cè)量法取該周期內(nèi)平均值后計(jì)算蝦體生長(zhǎng)率曲線(xiàn)函數(shù)：

根據(jù)正常情況下的生長(zhǎng)率函數(shù)圖像與實(shí)際計(jì)算所得的生長(zhǎng)率函數(shù)圖像進(jìn)行擬合對(duì)比，當(dāng)偏差大于5% 時(shí)即認(rèn)為當(dāng)前養(yǎng)殖模式下導(dǎo)致蝦體生長(zhǎng)偏慢，結(jié)合水質(zhì)參數(shù)和飼喂情況分析影響蝦體生長(zhǎng)的因素。同時(shí)，將所得參數(shù)進(jìn)行可視化后在界面進(jìn)行顯示。

對(duì)蝦瞬時(shí)生長(zhǎng)率以幼體期最高，隨個(gè)體長(zhǎng)大而快速下降，但在近成體后下降又趨平緩，幼體的瞬時(shí)生長(zhǎng)率隨溫度升高而提高，近成體后不同溫度下的瞬時(shí)生長(zhǎng)率差異已不明顯。在同一溫度下，不同期采獲的瞬時(shí)生長(zhǎng)率變化不大，近成體后尤是如此。

因此，本系統(tǒng)主要在蝦體的幼體期將生長(zhǎng)率作為養(yǎng)殖狀況參照指標(biāo)。

3   結(jié)論

目前，尚未有學(xué)者通過(guò)機(jī)器視覺(jué)方法對(duì)蝦體生長(zhǎng)及生長(zhǎng)率情況進(jìn)行研究，而本文設(shè)計(jì)的系統(tǒng)，首先基于YOLOv5 深度學(xué)習(xí)模型對(duì)圖像進(jìn)行蝦體識(shí)別框選，然后通過(guò)雙目攝像頭完成雙目圖像的立體匹配，把二維坐標(biāo)點(diǎn)轉(zhuǎn)換為三維坐標(biāo)點(diǎn)計(jì)算蝦體真實(shí)長(zhǎng)度及其平均生長(zhǎng)率。

由于對(duì)蝦在不同的生長(zhǎng)周期里表現(xiàn)出來(lái)的生長(zhǎng)率是不同的，比如幼時(shí)1 個(gè)月的生長(zhǎng)率平均增長(zhǎng)速度要比第2 個(gè)月平均增長(zhǎng)速度快2% 左右，故本文以養(yǎng)殖池里的對(duì)蝦平均生長(zhǎng)率作為參考數(shù)據(jù)，結(jié)合養(yǎng)殖人員累計(jì)的多年經(jīng)驗(yàn)，判斷一個(gè)對(duì)蝦養(yǎng)殖池內(nèi)在某一個(gè)時(shí)間周期里對(duì)蝦的生長(zhǎng)狀況是否正常，如果情況良好，則按照原來(lái)的養(yǎng)殖方案飼養(yǎng)；如果生長(zhǎng)率偏低，養(yǎng)殖人員應(yīng)該盡快調(diào)整養(yǎng)殖方案，加大換氧量等等措施來(lái)調(diào)整對(duì)蝦的生長(zhǎng)狀態(tài)。

針對(duì)目前蝦類(lèi)養(yǎng)殖場(chǎng)仍存在死亡率高、智慧化水平低、依賴(lài)人為經(jīng)驗(yàn)養(yǎng)殖等問(wèn)題，本文提出的方法能有效降低對(duì)蝦死亡率、減輕養(yǎng)殖人員機(jī)械化的體力勞動(dòng)、降低養(yǎng)殖能耗，保障水產(chǎn)養(yǎng)殖系統(tǒng)的穩(wěn)定運(yùn)行，本產(chǎn)品適用于水產(chǎn)養(yǎng)殖領(lǐng)域中的智慧化升級(jí)改造和鄉(xiāng)村漁業(yè)振興，具有一定的實(shí)用價(jià)值和社會(huì)效益。

參考文獻(xiàn)：

[1] 周洪,莊捷生.湛江對(duì)蝦養(yǎng)殖業(yè)現(xiàn)狀調(diào)查[J].廣東飼料,2009,18(05):9-14.

[2] 張季云.鄉(xiāng)村振興中鄉(xiāng)村旅游的重要性:基于法國(guó)鄉(xiāng)村可持續(xù)發(fā)展理念[J].世界農(nóng)業(yè),2018(12):189-192.DOI:10.13856/j.cn11-1097/s.2018.12.041.

[3] 董鵬.基于雙目視覺(jué)的水下海產(chǎn)品尺寸自動(dòng)測(cè)量技術(shù)研究[D].大連:大連海事大學(xué),2020.DOI:10.26989/d.cnki.gdlhu.2020.000259.

[4] 李穎,陳龍,黃釗宏,等.基于多尺度卷積神經(jīng)網(wǎng)絡(luò)特征融合的植株葉片檢測(cè)技術(shù)[J].智能科學(xué)與技術(shù)學(xué)報(bào),2021,3(03):304-311.

[5] 談世磊,別雄波,盧功林,等.基于YOLOv5網(wǎng)絡(luò)模型的人員口罩佩戴實(shí)時(shí)檢測(cè)[J].激光雜志,2021,42(02):147-150.DOI:10.14016/j.cnki.jgzz.2021.

[6] 程西云,張婕敏.圖像處理技術(shù)在拉鏈齒數(shù)檢測(cè)中的研究[J].汕頭大學(xué)學(xué)報(bào)(自然科學(xué)版),2006(01):65-69.

[7] 周維武,邢克敏,孫偉.對(duì)蝦精養(yǎng)中急待解決的認(rèn)識(shí)和技術(shù)問(wèn)題[J].中國(guó)水產(chǎn),2000(04):42-41.

（本文來(lái)源于《電子產(chǎn)品世界》雜志2022年5月期）