摘 要:本發(fā)明提供了一種胡麻籽粒形態(tài)識(shí)別方法、裝置及電子設(shè)備。該方法包括：獲得待識(shí)別胡麻籽粒圖像；通過(guò)邊緣檢測(cè)算法獲得待識(shí)別胡麻籽粒圖像中各個(gè)胡麻籽粒的邊緣，獲得整體邊緣圖像；使用目標(biāo)識(shí)別算法獲得整體邊緣圖像中形態(tài)完整的胡麻籽粒邊緣圖像；將形態(tài)完整的胡麻籽粒邊緣圖像從整體邊緣圖像中進(jìn)行刪除，獲得殘缺邊緣圖像；根據(jù)殘缺邊緣圖像中各個(gè)殘缺邊緣的曲率對(duì)各個(gè)殘缺邊緣進(jìn)行補(bǔ)齊，獲得修正邊緣圖像；計(jì)算形態(tài)完整的胡麻籽粒邊緣圖像和修正邊緣圖像中各個(gè)胡麻籽粒的形態(tài)特征值，基于形態(tài)特征值輸出胡麻籽粒形態(tài)識(shí)別結(jié)果。
權(quán)利要求書
1.一種胡麻籽粒形態(tài)識(shí)別方法，其特征在于，包括:
獲得待識(shí)別胡麻籽粒圖像；
通過(guò)邊緣檢測(cè)算法提取待識(shí)別胡麻籽粒圖像中各個(gè)胡麻籽粒的邊緣，獲得整體邊緣圖像，包括：
使用直方圖均衡化對(duì)待識(shí)別胡麻籽粒圖像進(jìn)行增強(qiáng)，使用canny邊緣檢測(cè)算法對(duì)增強(qiáng)后的待識(shí)別胡麻籽粒圖像進(jìn)行邊緣檢測(cè)，獲得第一邊緣圖像；獲得待識(shí)別胡麻籽粒圖像的灰度直方圖，從灰度直方圖中提取胡麻籽粒邊界處的顏色特征值，根據(jù)顏色特征值對(duì)待識(shí)別胡麻籽粒圖像進(jìn)行閾值分割，獲得第二邊緣圖像；將第一邊緣圖像和第二邊緣圖像的并集作為整體邊緣圖像；
使用目標(biāo)識(shí)別算法獲得整體邊緣圖像中形態(tài)完整的胡麻籽粒邊緣圖像，包括：
構(gòu)建YOLOv5s網(wǎng)絡(luò)，使用公開(kāi)數(shù)據(jù)集對(duì)YOLOv5s網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得訓(xùn)練完的YOLOv5s網(wǎng)絡(luò)；使用少量形態(tài)完整的胡麻籽粒邊緣圖像構(gòu)建數(shù)據(jù)集，使用該數(shù)據(jù)集對(duì)訓(xùn)練完的YOLOv5s網(wǎng)絡(luò)進(jìn)行微調(diào)，獲得用于識(shí)別形態(tài)完整的胡麻籽粒的YOLOv5s網(wǎng)絡(luò)，使用該YOLOv5s網(wǎng)絡(luò)對(duì)整體邊緣圖像中形態(tài)完整的胡麻籽粒邊緣進(jìn)行識(shí)別；
將形態(tài)完整的胡麻籽粒邊緣圖像從整體邊緣圖像中進(jìn)行刪除，獲得殘缺邊緣圖像；根據(jù)殘缺邊緣圖像中各個(gè)殘缺邊緣的曲率對(duì)各個(gè)殘缺邊緣進(jìn)行補(bǔ)齊，獲得修正邊緣圖像；
計(jì)算形態(tài)完整的胡麻籽粒邊緣圖像和修正邊緣圖像中各個(gè)胡麻籽粒的形態(tài)特征值，基于形態(tài)特征值輸出胡麻籽粒形態(tài)識(shí)別結(jié)果。
2.根據(jù)權(quán)利要求1所述的胡麻籽粒形態(tài)識(shí)別方法，其特征在于，所述根據(jù)殘缺邊緣圖像中各個(gè)殘缺邊緣的曲率對(duì)各個(gè)殘缺邊緣進(jìn)行補(bǔ)齊，獲得修正邊緣圖像，包括：
使用連通域提取算法獲得殘缺邊緣圖像中的各個(gè)殘缺邊緣；根據(jù)形態(tài)完整的胡麻籽粒邊緣構(gòu)建擬合曲線模型；
計(jì)算各個(gè)殘缺邊緣的曲率，將該曲率輸入到擬合曲線模型中對(duì)殘缺邊緣進(jìn)行擬合，通過(guò)擬合對(duì)殘缺邊緣的殘缺部分進(jìn)行補(bǔ)齊，獲得修正邊緣圖像。
3.根據(jù)權(quán)利要求1所述的胡麻籽粒形態(tài)識(shí)別方法，其特征在于，所述計(jì)算形態(tài)完整的胡麻籽粒邊緣圖像和修正邊緣圖像中各個(gè)胡麻籽粒的形態(tài)特征值，包括：
使用連通域提取算法獲得形態(tài)完整的胡麻籽粒邊緣圖像和修正邊緣圖像中所有的胡麻籽粒邊緣，并獲得所有胡麻籽粒邊緣的最小外接矩形；
根據(jù)胡麻籽粒邊緣和最小外接矩形計(jì)算各個(gè)胡麻籽粒的形態(tài)特征值，包括各個(gè)胡麻籽粒的周長(zhǎng)、面積、長(zhǎng)軸長(zhǎng)度、短軸長(zhǎng)度；
根據(jù)各個(gè)胡麻籽粒的周長(zhǎng)、面積、長(zhǎng)軸長(zhǎng)度、短軸長(zhǎng)度計(jì)算整幅待識(shí)別胡麻籽粒圖像中胡麻籽粒的平均周長(zhǎng)、平均面積、平均長(zhǎng)軸長(zhǎng)度、平均短軸長(zhǎng)度及標(biāo)準(zhǔn)差。
4.根據(jù)權(quán)利要求3所述的胡麻籽粒形態(tài)識(shí)別方法，其特征在于，所述計(jì)算各個(gè)胡麻籽粒的形態(tài)特征值，包括：
將各個(gè)胡麻籽粒邊緣的像素個(gè)數(shù)作為各個(gè)胡麻籽粒的周長(zhǎng)；
統(tǒng)計(jì)各個(gè)胡麻籽粒邊緣圍起來(lái)區(qū)域的像素個(gè)數(shù)，將該個(gè)數(shù)作為對(duì)應(yīng)胡麻籽粒的面積；
將胡麻籽粒邊緣最小外接矩形的長(zhǎng)作為對(duì)應(yīng)胡麻籽粒的長(zhǎng)軸長(zhǎng)度；
將胡麻籽粒邊緣最小外接矩形的寬作為對(duì)應(yīng)胡麻籽粒的短軸長(zhǎng)度。
5.根據(jù)權(quán)利要求1所述的胡麻籽粒形態(tài)識(shí)別方法，其特征在于，所述將形態(tài)完整的胡麻籽粒邊緣圖像從整體邊緣圖像中進(jìn)行刪除，包括：
將整體邊緣圖像作為二值圖像A、形態(tài)完整的胡麻籽粒邊緣圖像作為二值圖像B；
將二值圖像B中的白色和黑色進(jìn)行翻轉(zhuǎn)：將白色像素變?yōu)楹谏?，黑色像素變?yōu)榘咨?/span>
對(duì)翻轉(zhuǎn)后的二值圖像B和二值圖像A執(zhí)行邏輯AND操作：只有在二值圖像B和二值圖像A對(duì)應(yīng)位置都為白色時(shí)，結(jié)果圖像對(duì)應(yīng)位置是白色。
6.根據(jù)權(quán)利要求1所述的胡麻籽粒形態(tài)識(shí)別方法，其特征在于，所述canny邊緣檢測(cè)算法，包括：
使用高斯濾波器平滑圖像，去除噪聲；
計(jì)算平滑后的圖像的梯度強(qiáng)度和方向；
通過(guò)對(duì)某像素點(diǎn)鄰域內(nèi)其它梯度強(qiáng)度值的抑制來(lái)實(shí)現(xiàn)最大梯度強(qiáng)度值的保留；
選擇雙閾值檢測(cè)來(lái)確定邊緣。
7.一種胡麻籽粒形態(tài)識(shí)別裝置，其特征在于，包括：
圖像獲取模塊，用于獲得待識(shí)別胡麻籽粒圖像；
胡麻籽粒邊緣圖像獲取模塊，用于通過(guò)邊緣檢測(cè)算法提取待識(shí)別胡麻籽粒圖像中各個(gè)胡麻籽粒的邊緣，獲得整體邊緣圖像，包括：
使用直方圖均衡化對(duì)待識(shí)別胡麻籽粒圖像進(jìn)行增強(qiáng)，使用canny邊緣檢測(cè)算法對(duì)增強(qiáng)后的待識(shí)別胡麻籽粒圖像進(jìn)行邊緣檢測(cè)，獲得第一邊緣圖像；獲得待識(shí)別胡麻籽粒圖像的灰度直方圖，從灰度直方圖中提取胡麻籽粒邊界處的顏色特征值，根據(jù)顏色特征值對(duì)待識(shí)別胡麻籽粒圖像進(jìn)行閾值分割，獲得第二邊緣圖像；將第一邊緣圖像和第二邊緣圖像的并集作為整體邊緣圖像；
用于使用目標(biāo)識(shí)別算法獲得整體邊緣圖像中形態(tài)完整的胡麻籽粒邊緣圖像，包括：構(gòu)建YOLOv5s網(wǎng)絡(luò)，使用公開(kāi)數(shù)據(jù)集對(duì)YOLOv5s網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得訓(xùn)練完的YOLOv5s網(wǎng)絡(luò)；使用少量形態(tài)完整的胡麻籽粒邊緣圖像構(gòu)建數(shù)據(jù)集，使用該數(shù)據(jù)集對(duì)訓(xùn)練完的YOLOv5s網(wǎng)絡(luò)進(jìn)行微調(diào)，獲得用于識(shí)別形態(tài)完整的胡麻籽粒的YOLOv5s網(wǎng)絡(luò)，使用該YOLOv5s網(wǎng)絡(luò)對(duì)整體邊緣圖像中形態(tài)完整的胡麻籽粒邊緣進(jìn)行識(shí)別；
修正邊緣圖像獲取模塊，用于將形態(tài)完整的胡麻籽粒邊緣圖像從整體邊緣圖像中進(jìn)行刪除，獲得殘缺邊緣圖像；根據(jù)殘缺邊緣圖像中各個(gè)殘缺邊緣的曲率對(duì)各個(gè)殘缺邊緣進(jìn)行補(bǔ)齊，獲得修正邊緣圖像；
識(shí)別模塊，用于計(jì)算形態(tài)完整的胡麻籽粒邊緣圖像和修正邊緣圖像中各個(gè)胡麻籽粒的形態(tài)特征值，基于形態(tài)特征值輸出胡麻籽粒形態(tài)識(shí)別結(jié)果。
8.一種電子設(shè)備，其特征在于，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述權(quán)利要求1～6任一所述的方法。
技術(shù)領(lǐng)域
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種胡麻籽粒形態(tài)識(shí)別方法、裝置及電子設(shè)備。
背景技術(shù)
胡麻籽粒是一種來(lái)源于亞洲胡麻植物(學(xué)名：Sesamumindicum)的種子，是一種油料作物。對(duì)胡麻籽粒進(jìn)行形態(tài)識(shí)別可以幫助鑒別和記錄不同胡麻籽粒的形態(tài)特征，有助于對(duì)不同品種和類型的胡麻進(jìn)行分類和管理，這對(duì)于保護(hù)和維護(hù)豐富的種質(zhì)資源起到重要作用，有助于避免基因資源的喪失和品種混淆。
目前，基于機(jī)器視覺(jué)對(duì)胡麻籽粒進(jìn)行形態(tài)識(shí)別時(shí)，有部分的胡麻籽粒被上層的胡麻籽粒遮蓋住，無(wú)法獲得被遮蓋部分的形態(tài)，導(dǎo)致僅僅基于上層胡麻籽粒獲得的形態(tài)特征不具有代表性。為了解決這一問(wèn)題，CN110363784B公開(kāi)了一種重疊果實(shí)的識(shí)別方法，該方法對(duì)采集的圖像分割獲得重疊果實(shí)區(qū)域，對(duì)重疊果實(shí)區(qū)域進(jìn)行邊緣檢測(cè)，將邊緣檢測(cè)結(jié)果與重疊果實(shí)區(qū)域進(jìn)行異或運(yùn)算，使得重疊果實(shí)區(qū)域分開(kāi)，然后使用最小二乘法橢圓檢測(cè)來(lái)對(duì)果實(shí)的邊緣進(jìn)行擬合，重建被遮擋果實(shí)的輪廓。
但是，上述方法邊緣檢測(cè)的準(zhǔn)確性可能受到圖像質(zhì)量、光照條件和果實(shí)外觀等因素的影響，導(dǎo)致邊緣檢測(cè)的結(jié)果不準(zhǔn)確，從而影響異或運(yùn)算，導(dǎo)致最終獲得的分割結(jié)果不夠準(zhǔn)確或者丟失了一些細(xì)節(jié)信息。
發(fā)明內(nèi)容
本發(fā)明提供一種胡麻籽粒形態(tài)識(shí)別方法、裝置及電子設(shè)備，可以解決上述技術(shù)問(wèn)題。
本發(fā)明提供一種胡麻籽粒形態(tài)識(shí)別方法，包括:
獲得待識(shí)別胡麻籽粒圖像；
通過(guò)邊緣檢測(cè)算法提取待識(shí)別胡麻籽粒圖像中各個(gè)胡麻籽粒的邊緣，獲得整體邊緣圖像，包括：
使用直方圖均衡化對(duì)待識(shí)別胡麻籽粒圖像進(jìn)行增強(qiáng)，使用canny邊緣檢測(cè)算法對(duì)增強(qiáng)后的待識(shí)別胡麻籽粒圖像進(jìn)行邊緣檢測(cè)，獲得第一邊緣圖像；獲得待識(shí)別胡麻籽粒圖像的灰度直方圖，從灰度直方圖中提取胡麻籽粒邊界處的顏色特征值，根據(jù)顏色特征值對(duì)待識(shí)別胡麻籽粒圖像進(jìn)行閾值分割，獲得第二邊緣圖像；將第一邊緣圖像和第二邊緣圖像的并集作為整體邊緣圖像；
使用目標(biāo)識(shí)別算法獲得整體邊緣圖像中形態(tài)完整的胡麻籽粒邊緣圖像，包括：
構(gòu)建YOLOv5s網(wǎng)絡(luò)，使用公開(kāi)數(shù)據(jù)集對(duì)YOLOv5s網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得訓(xùn)練完的YOLOv5s網(wǎng)絡(luò)；使用少量形態(tài)完整的胡麻籽粒邊緣圖像構(gòu)建數(shù)據(jù)集，使用該數(shù)據(jù)集對(duì)訓(xùn)練完的YOLOv5s網(wǎng)絡(luò)進(jìn)行微調(diào)，獲得用于識(shí)別形態(tài)完整的胡麻籽粒的YOLOv5s網(wǎng)絡(luò)，使用該YOLOv5s網(wǎng)絡(luò)對(duì)整體邊緣圖像中形態(tài)完整的胡麻籽粒邊緣進(jìn)行識(shí)別；
將形態(tài)完整的胡麻籽粒邊緣圖像從整體邊緣圖像中進(jìn)行刪除，獲得殘缺邊緣圖像；根據(jù)殘缺邊緣圖像中各個(gè)殘缺邊緣的曲率對(duì)各個(gè)殘缺邊緣進(jìn)行補(bǔ)齊，獲得修正邊緣圖像；
計(jì)算形態(tài)完整的胡麻籽粒邊緣圖像和修正邊緣圖像中各個(gè)胡麻籽粒的形態(tài)特征值，基于形態(tài)特征值輸出胡麻籽粒形態(tài)識(shí)別結(jié)果。
進(jìn)一步的，所述根據(jù)殘缺邊緣圖像中各個(gè)殘缺邊緣的曲率對(duì)各個(gè)殘缺邊緣進(jìn)行補(bǔ)齊，獲得修正邊緣圖像，包括：
使用連通域提取算法獲得殘缺邊緣圖像中的各個(gè)殘缺邊緣；
根據(jù)形態(tài)完整的胡麻籽粒邊緣構(gòu)建擬合曲線模型；
計(jì)算各個(gè)殘缺邊緣的曲率，將該曲率輸入到擬合曲線模型中對(duì)殘缺邊緣進(jìn)行擬合，通過(guò)擬合對(duì)殘缺邊緣的殘缺部分進(jìn)行補(bǔ)齊，獲得修正邊緣圖像。
進(jìn)一步的，所述計(jì)算形態(tài)完整的胡麻籽粒邊緣圖像和修正邊緣圖像中各個(gè)胡麻籽粒的形態(tài)特征值，包括：
使用連通域提取算法獲得形態(tài)完整的胡麻籽粒邊緣圖像和修正邊緣圖像中所有的胡麻籽粒邊緣，并獲得所有胡麻籽粒邊緣的最小外接矩形；
根據(jù)胡麻籽粒邊緣和最小外接矩形計(jì)算各個(gè)胡麻籽粒的形態(tài)特征值，包括各個(gè)胡麻籽粒的周長(zhǎng)、面積、長(zhǎng)軸長(zhǎng)度、短軸長(zhǎng)度；
根據(jù)各個(gè)胡麻籽粒的周長(zhǎng)、面積、長(zhǎng)軸長(zhǎng)度、短軸長(zhǎng)度計(jì)算整幅待識(shí)別胡麻籽粒圖像中胡麻籽粒的平均周長(zhǎng)、平均面積、平均長(zhǎng)軸長(zhǎng)度、平均短軸長(zhǎng)度及標(biāo)準(zhǔn)差。
進(jìn)一步的，所述計(jì)算各個(gè)胡麻籽粒的形態(tài)特征值，包括：
將各個(gè)胡麻籽粒邊緣的像素個(gè)數(shù)作為各個(gè)胡麻籽粒的周長(zhǎng)；
統(tǒng)計(jì)各個(gè)胡麻籽粒邊緣圍起來(lái)區(qū)域的像素個(gè)數(shù)，將該個(gè)數(shù)作為對(duì)應(yīng)胡麻籽粒的面積；
將胡麻籽粒邊緣最小外接矩形的長(zhǎng)作為對(duì)應(yīng)胡麻籽粒的長(zhǎng)軸長(zhǎng)度；
將胡麻籽粒邊緣最小外接矩形的寬作為對(duì)應(yīng)胡麻籽粒的短軸長(zhǎng)度。
進(jìn)一步的，所述將形態(tài)完整的胡麻籽粒邊緣圖像從整體邊緣圖像中進(jìn)行刪除，包括：
將整體邊緣圖像作為二值圖像A、形態(tài)完整的胡麻籽粒邊緣圖像作為二值圖像B；
將二值圖像B中的白色和黑色進(jìn)行翻轉(zhuǎn)：將白色像素變?yōu)楹谏?，黑色像素變?yōu)榘咨?/span>
對(duì)翻轉(zhuǎn)后的二值圖像B和二值圖像A執(zhí)行邏輯AND操作：只有在二值圖像B和二值圖像A對(duì)應(yīng)位置都為白色時(shí)，結(jié)果圖像對(duì)應(yīng)位置是白色。
進(jìn)一步的，所述canny邊緣檢測(cè)算法，包括：
使用高斯濾波器平滑圖像，去除噪聲；
計(jì)算平滑后的圖像的梯度強(qiáng)度和方向；
通過(guò)對(duì)某像素點(diǎn)鄰域內(nèi)其它梯度強(qiáng)度值的抑制來(lái)實(shí)現(xiàn)最大梯度強(qiáng)度值的保留；
選擇雙閾值檢測(cè)來(lái)確定邊緣。
一種胡麻籽粒形態(tài)識(shí)別裝置，包括：
圖像獲取模塊，用于獲得待識(shí)別胡麻籽粒圖像；
胡麻籽粒邊緣圖像獲取模塊，用于通過(guò)邊緣檢測(cè)算法提取待識(shí)別胡麻籽粒圖像中各個(gè)胡麻籽粒的邊緣，獲得整體邊緣圖像，包括：
使用直方圖均衡化對(duì)待識(shí)別胡麻籽粒圖像進(jìn)行增強(qiáng)，使用canny邊緣檢測(cè)算法對(duì)增強(qiáng)后的待識(shí)別胡麻籽粒圖像進(jìn)行邊緣檢測(cè)，獲得第一邊緣圖像；獲得待識(shí)別胡麻籽粒圖像的灰度直方圖，從灰度直方圖中提取胡麻籽粒邊界處的顏色特征值，根據(jù)顏色特征值對(duì)待識(shí)別胡麻籽粒圖像進(jìn)行閾值分割，獲得第二邊緣圖像；將第一邊緣圖像和第二邊緣圖像的并集作為整體邊緣圖像；
用于使用目標(biāo)識(shí)別算法獲得整體邊緣圖像中形態(tài)完整的胡麻籽粒邊緣圖像，包括：
構(gòu)建YOLOv5s網(wǎng)絡(luò)，使用公開(kāi)數(shù)據(jù)集對(duì)YOLOv5s網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得訓(xùn)練完的YOLOv5s網(wǎng)絡(luò)；使用少量形態(tài)完整的胡麻籽粒邊緣圖像構(gòu)建數(shù)據(jù)集，使用該數(shù)據(jù)集對(duì)訓(xùn)練完的YOLOv5s網(wǎng)絡(luò)進(jìn)行微調(diào)，獲得用于識(shí)別形態(tài)完整的胡麻籽粒的YOLOv5s網(wǎng)絡(luò)，使用該YOLOv5s網(wǎng)絡(luò)對(duì)整體邊緣圖像中形態(tài)完整的胡麻籽粒邊緣進(jìn)行識(shí)別；
修正邊緣圖像獲取模塊，用于將形態(tài)完整的胡麻籽粒邊緣圖像從整體邊緣圖像中進(jìn)行刪除，獲得殘缺邊緣圖像；根據(jù)殘缺邊緣圖像中各個(gè)殘缺邊緣的曲率對(duì)各個(gè)殘缺邊緣進(jìn)行補(bǔ)齊，獲得修正邊緣圖像；
識(shí)別模塊，用于計(jì)算形態(tài)完整的胡麻籽粒邊緣圖像和修正邊緣圖像中各個(gè)胡麻籽粒的形態(tài)特征值，基于形態(tài)特征值輸出胡麻籽粒形態(tài)識(shí)別結(jié)果。
一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述的胡麻籽粒形態(tài)識(shí)別方法。
本發(fā)明提供一種胡麻籽粒形態(tài)識(shí)別方法、裝置及電子設(shè)備，與現(xiàn)有技術(shù)相比，其有益效果如下：
本發(fā)明通過(guò)邊緣檢測(cè)算法和胡麻籽粒邊界處的顏色特征值獲得了更加清晰完整的整體邊緣圖像，使用YOLOv5s網(wǎng)絡(luò)可以從該更加清晰完整的整體邊緣圖像中精準(zhǔn)的獲取形態(tài)完整的胡麻籽粒邊緣圖像，基于上述更加清晰完整的整體邊緣圖像和更加精準(zhǔn)的形態(tài)完整的胡麻籽粒邊緣圖像進(jìn)行異或運(yùn)算，從而可以獲得更加準(zhǔn)確的殘缺邊緣，使得形態(tài)識(shí)別的結(jié)果更加準(zhǔn)確。
并且一般使用YOLOv5s獲得形態(tài)完整的胡麻籽粒邊緣圖像的步驟是首先使用YOLOv5s獲得形態(tài)完整的胡麻籽粒，然后對(duì)這些胡麻籽進(jìn)行邊緣檢測(cè)以獲得形態(tài)完整的胡麻籽粒邊緣。但是這樣在對(duì)YOLOv5s進(jìn)行訓(xùn)練過(guò)程中會(huì)引入與邊緣的無(wú)關(guān)因素，導(dǎo)致訓(xùn)練時(shí)的計(jì)算量較大和識(shí)別結(jié)果不準(zhǔn)確。而本發(fā)明首先進(jìn)行邊緣檢測(cè)然后再識(shí)別，不僅可以大幅降低計(jì)算量，還可以使得YOLOv5s網(wǎng)絡(luò)更關(guān)注于邊緣特征，更加準(zhǔn)確的形態(tài)完整的胡麻籽粒邊緣。
附圖說(shuō)明
附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，并且構(gòu)成說(shuō)明書的一部分，與本發(fā)明的實(shí)施例一起用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的限制。
在附圖中：
圖1是本說(shuō)明書提供的流程圖；
圖1
圖2是本說(shuō)明書提供的框架圖；
圖2
圖3圖像采集設(shè)備示意圖；
圖3
圖4是本說(shuō)明書提供的直方圖均衡化原理示意圖；
圖4
圖5是本說(shuō)明書提供的canny算法的流程圖；
圖5
圖6是本說(shuō)明書提供的YOLOv5s網(wǎng)絡(luò)框架圖；
圖6
圖7是本說(shuō)明書提供的電子設(shè)備示意圖。
圖7
具體實(shí)施方式
下面結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整的描述，但應(yīng)當(dāng)理解本發(fā)明的保護(hù)范圍并不受具體實(shí)施方式的限制。
實(shí)施例
胡麻籽粒是一種來(lái)源于亞洲胡麻植物(學(xué)名：Sesamumindicum)的種子，是一種油料作物。胡麻是一種古老的農(nóng)作物，源于近東、地中海沿岸。在中國(guó)主要分布在山西、甘肅、寧夏、內(nèi)蒙古等省、自治區(qū)，其種子廣泛用于食品加工、藥用和油料生產(chǎn)等多個(gè)領(lǐng)域。胡麻籽粒的形態(tài)通常呈扁平的橢圓形狀，大小不一，一般約為2?4毫米長(zhǎng)。種子的顏色可以因品種而異，包括白色、黃色、棕色等。胡麻籽粒的表面覆蓋有堅(jiān)硬的種皮，種皮的顏色和紋路因品種而異。對(duì)胡麻籽粒進(jìn)行形態(tài)識(shí)別具有重要的作用和意義，主要體現(xiàn)在以下幾個(gè)方面：1.種質(zhì)資源保護(hù)和管理，形態(tài)識(shí)別可以幫助鑒別和記錄不同胡麻籽粒的形態(tài)特征，有助于對(duì)不同品種和類型的胡麻進(jìn)行分類和管理，這對(duì)于保護(hù)和維護(hù)豐富的種質(zhì)資源起到重要作用，有助于避免基因資源的喪失和品種混淆。2.品種鑒別和分類，形態(tài)識(shí)別是品種鑒別的一種重要手段，通過(guò)識(shí)別胡麻籽粒的外部形態(tài)特征，可以準(zhǔn)確確定不同胡麻品種之間的差異，為品種改良和選育提供重要參考信息。3.質(zhì)量控制和產(chǎn)品認(rèn)證，胡麻籽粒形態(tài)識(shí)別可以用于質(zhì)量控制，確保生產(chǎn)過(guò)程中的種子質(zhì)量。此外，對(duì)于一些有特殊用途的胡麻產(chǎn)品，形態(tài)識(shí)別也可以作為產(chǎn)品認(rèn)證的依據(jù)，保證產(chǎn)品符合特定標(biāo)準(zhǔn)和質(zhì)量要求。4.病害和蟲害防控，形態(tài)識(shí)別可以幫助檢測(cè)和鑒別胡麻籽粒上的病害和蟲害，通過(guò)及時(shí)發(fā)現(xiàn)并識(shí)別這些問(wèn)題，可以采取有效的防治措施，保障作物的生長(zhǎng)和產(chǎn)量。5.市場(chǎng)流通和消費(fèi)者信任，在胡麻籽粒的市場(chǎng)流通過(guò)程中，形態(tài)識(shí)別可以作為一種驗(yàn)證手段，確保所銷售的產(chǎn)品符合標(biāo)準(zhǔn)，并幫助防范假冒偽劣產(chǎn)品。這有助于建立消費(fèi)者對(duì)于產(chǎn)品質(zhì)量的信任。
近年來(lái)，很多學(xué)者對(duì)胡麻籽粒形態(tài)識(shí)別方法進(jìn)行了研究，黨照、趙利等人在《利用近紅外分析技術(shù)測(cè)定胡麻種質(zhì)資源品質(zhì)》中，利用Perten公司DA7200型近紅外透射光譜分析儀，對(duì)甘肅胡麻種質(zhì)資源庫(kù)的364份胡麻資源的籽粒品質(zhì)成分進(jìn)行測(cè)定。結(jié)果表明，胡麻籽粒4種品質(zhì)成分在不同材料間存在明顯差異，硬脂酸、木酚素、棕櫚酸和油酸變異系數(shù)較大；碘價(jià)、粗脂肪、亞油酸和亞麻酸含量的變異系數(shù)較小。資源中粗脂肪平均含量為38.64％，硬脂酸平均含量為4.94％，棕櫚酸平均含量為5.58％，油酸、亞油酸、亞麻酸、碘價(jià)和木酚素平均含量依次為29.15％、11.4％、51.31％、175.69和9.60mg/g。篩選出了123份優(yōu)異種質(zhì)資源供育種利用。并對(duì)近紅外技術(shù)在胡麻品質(zhì)育種中的利用作了探討。李建增、楊若菡等人在《外引油用亞麻品種資源鑒定與評(píng)價(jià)》中，對(duì)從荷蘭和加拿大引入的油用亞麻品種資源進(jìn)行綜合鑒定、分析與評(píng)價(jià)。試驗(yàn)材料采用隨機(jī)區(qū)播種，通過(guò)多樣性、相關(guān)性和聚類分析進(jìn)行研究。主要性狀的遺傳多樣性分析表明，存在較大差異，多樣性比較豐富。相關(guān)性分析確定了各性狀之間的關(guān)系。通過(guò)系統(tǒng)聚類，把試驗(yàn)材料劃分為3大類，為不同育種目標(biāo)提供依據(jù)。趙利、王斌等人在《胡麻種質(zhì)資源籽粒表型與品質(zhì)性狀評(píng)價(jià)及其相關(guān)性研究》中，測(cè)定了238份胡麻資源的8個(gè)籽粒表型指標(biāo)和7個(gè)品質(zhì)性狀，探索了它們間的關(guān)系，通過(guò)對(duì)胡麻籽粒形狀和種皮顏色的選擇實(shí)現(xiàn)對(duì)胡麻品質(zhì)性狀的間接選擇，為胡麻品質(zhì)育種提供理論依據(jù)。隨著機(jī)器視覺(jué)的發(fā)展，可以通過(guò)采集胡麻籽粒圖像對(duì)胡麻籽粒進(jìn)行形態(tài)識(shí)別。
但是采集的圖像中，有部分的胡麻籽粒被上層的胡麻籽粒遮蓋住，無(wú)法獲得被遮蓋部分的形態(tài)，導(dǎo)致僅僅基于上層胡麻籽粒獲得的形態(tài)特征不具有代表性。基于此，本申請(qǐng)?zhí)岢鲆环N胡麻籽粒形態(tài)識(shí)別方法，首先獲得胡麻籽粒的整體邊緣圖像，該整體邊緣圖像中既包括形態(tài)完整的胡麻籽粒邊緣，也包括由于堆疊而導(dǎo)致的殘缺邊緣圖像；接著使用訓(xùn)練好的YOLOv5s神經(jīng)網(wǎng)路識(shí)別形態(tài)完整的胡麻籽粒邊緣，由于該YOLOv5s神經(jīng)網(wǎng)路是由形態(tài)完整的胡麻籽粒邊緣數(shù)據(jù)集所訓(xùn)練得到的，因此該神經(jīng)網(wǎng)絡(luò)可以識(shí)別出整體邊緣圖像中形態(tài)完整的胡麻籽粒邊緣；通過(guò)將整體邊緣圖像和形態(tài)完整的胡麻籽粒邊緣圖像進(jìn)行交并集處理后，獲得了由于堆疊而導(dǎo)致的殘缺邊緣，通過(guò)對(duì)殘缺邊緣進(jìn)行多項(xiàng)式擬合，可以獲得修正邊緣；基于形態(tài)完整的胡麻籽粒邊緣和修正邊緣可以獲得整幅圖像的形態(tài)。該方法將形態(tài)完整的胡麻籽粒邊緣圖像從整體邊緣圖像中刪除，即可獲得由于胡麻籽粒堆疊而邊緣不完整的胡麻籽粒的邊緣，通過(guò)對(duì)殘缺邊緣的曲率進(jìn)行相應(yīng)的補(bǔ)齊，使得胡麻籽粒的形狀更加完整，從而獲得了圖像中形態(tài)完整的胡麻籽粒邊緣和修正邊緣，即：獲得了圖像中所有胡麻籽粒的邊緣。相對(duì)于僅基于最上層胡麻籽粒邊緣獲得的識(shí)別結(jié)果，基于圖像中所有胡麻籽粒的邊緣獲得的識(shí)別結(jié)果包含了被遮擋的胡麻籽粒邊緣信息，更具有代表性。
該方法的流程圖和框架圖分別如圖1和圖2所示，具體包括以下步驟：
步驟1、采集數(shù)據(jù)。
確定待識(shí)別胡麻籽粒拍攝方案，獲取可分辨胡麻籽粒圖像。胡麻種子分別為XB1、NM?21?10、ZC?62、ZZ?173、1009?1、08006?375、張亞2號(hào)、壩亞21號(hào)、同白亞3號(hào)等，共計(jì)111個(gè)品種，由甘肅省農(nóng)業(yè)科學(xué)院提供。
圖像采集系統(tǒng)由工業(yè)相機(jī)(維視智造MVHP505GM(500萬(wàn)像素))、環(huán)形光源、LED燈板、鏡頭固定槽、支架、微型計(jì)算機(jī)(Intel(R)Core(TM)i7?7700HQCPU@2.80GHz、NVIDIAGeForceGTX1060withMax?QDesign、16G內(nèi)存)等組成，試驗(yàn)采用的系統(tǒng)環(huán)境為Windos10、編譯環(huán)境為Python3.10。該系統(tǒng)可以快速、批量獲取胡麻種子圖像并進(jìn)行數(shù)據(jù)處理分析。圖像采集設(shè)備示意簡(jiǎn)圖如圖3所示，包括支撐桿1，該支撐桿1上設(shè)有可旋轉(zhuǎn)、可上下滑動(dòng)的工業(yè)相機(jī)2和環(huán)形光環(huán)3，以及位于底部的LED頂板4。工業(yè)相機(jī)2位于環(huán)形光環(huán)3上方，工業(yè)相機(jī)2透過(guò)環(huán)形光環(huán)3拍攝位于LED板4上的胡麻籽粒。
步驟2、獲得整體邊緣圖像。
本方法觀察到各個(gè)胡麻籽粒的顏色在邊緣、中心和周圍區(qū)域之間的差異性，因此將胡麻籽自帶的邊緣顏色特征和邊緣梯度特征結(jié)合起來(lái)，相對(duì)于傳統(tǒng)的僅基于梯度獲得的邊緣，該方法可以獲得更加準(zhǔn)確和清晰的整體邊緣圖像。首先，可以采用先進(jìn)的邊緣檢測(cè)算法或銳化算法，例如Canny邊緣檢測(cè)，以確保提取的邊緣能夠準(zhǔn)確地反映胡麻籽粒的形狀。進(jìn)一步利用胡麻籽粒邊緣的顏色特征進(jìn)行閾值分割，通過(guò)分析顏色信息并且設(shè)定適當(dāng)?shù)拈撝担瑢D像分割成具有相似顏色特征的區(qū)域。這種細(xì)致的顏色分割有助于區(qū)分胡麻籽粒邊緣、中心和周圍區(qū)域。最后，通過(guò)取閾值分割和邊緣提取的結(jié)果的并集可以得到更完整、更精確的待識(shí)別胡麻籽粒圖像中所有胡麻籽粒的邊緣。這種綜合的圖像處理方法在實(shí)際應(yīng)用中可以更好地應(yīng)對(duì)不同胡麻籽粒圖像的變化和復(fù)雜性，提高圖像處理的魯棒性和準(zhǔn)確性。考慮到胡麻籽粒之間的黑色區(qū)域可以在分割后的圖像中進(jìn)一步處理這些區(qū)域，以排除不必要的干擾。例如，可以應(yīng)用形態(tài)學(xué)操作，如膨脹和腐蝕，以填充小的空洞或去除細(xì)小的顆粒，從而進(jìn)一步提高圖像的清晰度和準(zhǔn)確性。具體包括：
步驟2.1、使用直方圖均衡化對(duì)待識(shí)別胡麻籽粒圖像進(jìn)行增強(qiáng)。
直方圖均衡化處理的“中心思想”是把原始圖像的灰度直方圖從比較集中的某個(gè)灰度區(qū)間變成在全部灰度范圍內(nèi)的均勻分布，即對(duì)圖像進(jìn)行非線性拉伸，重新分配圖像像素值，使一定灰度范圍內(nèi)的像素?cái)?shù)量大致相同，如圖4所示。直方圖增強(qiáng)可以調(diào)整圖像的對(duì)比度，使得圖像中的細(xì)微特征更加突出，這樣一來(lái)，Canny邊緣檢測(cè)算法在增強(qiáng)后的圖像上能夠更好地捕捉到邊緣的細(xì)節(jié)，從而提高邊緣檢測(cè)的準(zhǔn)確性。直方圖增強(qiáng)通?？梢詭椭鷾p少圖像中的噪聲，并且使得圖像更清晰，清晰度的提高有助于Canny算法更好地區(qū)分真實(shí)的邊緣與噪聲。直方圖增強(qiáng)有助于增強(qiáng)圖像中的邊緣信息，使得邊緣更加連續(xù)和清晰，這樣一來(lái)，Canny算法在增強(qiáng)后的圖像上可以產(chǎn)生更加平滑和連續(xù)的邊緣，避免了邊緣中斷或斷裂的情況。通過(guò)直方圖增強(qiáng)，圖像的特征更加明顯，邊緣更加清晰，從而使得Canny邊緣檢測(cè)算法在處理圖像時(shí)更加穩(wěn)健。這有助于提高邊緣檢測(cè)的魯棒性，使其對(duì)于不同光照條件和噪聲的影響更加具有抵抗力。綜上所述，對(duì)胡麻籽粒圖像進(jìn)行直方圖增強(qiáng)后再進(jìn)行Canny邊緣檢測(cè)可以有效提高邊緣檢測(cè)的準(zhǔn)確性、魯棒性和連續(xù)性，從而更好地分析和處理胡麻籽粒圖像。圖像直方圖增強(qiáng)具體包括：
統(tǒng)計(jì)待識(shí)別胡麻籽粒圖像灰度圖中每個(gè)灰度級(jí)別的像素?cái)?shù)量，得到圖像灰度直方圖。在一個(gè)灰度級(jí)在范圍[0,L]的數(shù)字圖像，其直方圖是一個(gè)離散函數(shù)：
其中，nk是待識(shí)別胡麻籽粒圖像灰度圖中第k個(gè)灰度級(jí)的像素個(gè)數(shù)，n是總像素個(gè)數(shù)，H(k)是第k個(gè)灰度級(jí)的頻率，k＝1,2,.,L。
根據(jù)H(k)計(jì)算累積分布函數(shù)，得到H(k)中每個(gè)灰度級(jí)別的累積分布頻率：
使用累積分布函數(shù)的值作為映射函數(shù)，將待識(shí)別胡麻籽粒圖像灰度圖中每個(gè)像素的灰度級(jí)別映射到新的灰度級(jí)別：將Hp(s)進(jìn)行歸一化后獲得的Hpj(s)乘以L?1再四舍五入，以使得均衡化后圖像的灰度級(jí)與歸一化前的原始圖像一致，通過(guò)公式new_s＝Hpj(s)*(L?1)將原始圖像中的像素值s映射為像素值new_s。
步驟2.2、使用canny邊緣檢測(cè)算法對(duì)增強(qiáng)后的待識(shí)別胡麻籽粒圖像進(jìn)行邊緣檢測(cè)，獲得第一邊緣圖像。
如圖5所示，Canny算子在處理圖像時(shí)主要有以下四個(gè)步驟：
使用高斯濾波器平滑圖像，去除噪聲。所使用的高斯函數(shù)為：
|
|
|
其中，G(x,y)為濾波時(shí)所使用的高斯函數(shù)，σ為高斯函數(shù)的標(biāo)準(zhǔn)差；p(x,y)為輸入圖像；I(x,y)為經(jīng)過(guò)高斯平滑后的輸出圖像。
計(jì)算平滑后的圖像的梯度強(qiáng)度和方向，圖像(i,j)處的梯度強(qiáng)度M(i,j)和θ(i,j)方向分別為：
其中，Hx(i,j)表示位于(i,j)的像素在x方向(水平方向)的梯度，Hy(i,j)表示位于(i,j)的像素在y方向(豎直方向)的梯度。
非極大值抑制。非極大值抑制是通過(guò)對(duì)某像素點(diǎn)鄰域內(nèi)其它梯度強(qiáng)度值的抑制來(lái)實(shí)現(xiàn)最大梯度強(qiáng)度值的保留。具體操作是：將該像素點(diǎn)的梯度值與鄰域內(nèi)其他點(diǎn)的強(qiáng)度值進(jìn)行比較，如果當(dāng)前點(diǎn)的梯度強(qiáng)度值最大，則保留該梯度值，否則令該點(diǎn)的梯度值為0。
選擇雙閾值檢測(cè)來(lái)確定邊緣。根據(jù)高低雙閾值來(lái)檢測(cè)和連接邊緣。人為設(shè)定高閾值Tmax和低閾值Tmin，經(jīng)過(guò)非極大值抑制后，如果圖像內(nèi)某像素點(diǎn)的梯度強(qiáng)度值大于Tmax，則該點(diǎn)為強(qiáng)邊緣點(diǎn)；若某像素點(diǎn)的梯度強(qiáng)度值小于Tmin，則該像素點(diǎn)為非邊緣點(diǎn)；若某像素點(diǎn)的梯度強(qiáng)度值位于Tmin和Tmax之間，則該點(diǎn)為弱邊緣點(diǎn)，弱邊緣點(diǎn)即可能是邊緣點(diǎn)，也可能是由噪聲造成的非邊緣點(diǎn)，需要結(jié)合強(qiáng)邊緣點(diǎn)進(jìn)一步判定。
步驟2.3、獲得待識(shí)別胡麻籽粒圖像的像素直方圖，從像素直方圖中提取胡麻籽粒邊界處的顏色特征值，根據(jù)顏色特征值對(duì)待識(shí)別胡麻籽粒圖像進(jìn)行閾值分割，獲得第二邊緣圖像。
在處理原始待識(shí)別的胡麻籽粒圖像時(shí)，觀察到該圖像具有明顯的顏色差異，這差異在灰度上呈現(xiàn)出明顯的峰值。然而直方圖增強(qiáng)的操作反而可能導(dǎo)致顏色的動(dòng)態(tài)范圍被調(diào)整，使得顏色差異減小?？紤]到胡麻籽粒的顏色特征對(duì)于識(shí)別非常關(guān)鍵，因此為了克服直方圖增強(qiáng)可能引入的顏色信息損失，選擇根據(jù)胡麻籽粒邊緣的顏色特征對(duì)原始待識(shí)別胡麻籽粒圖像進(jìn)行閾值分割。這種分割方法允許基于顏色的不同特性將圖像中具有相似顏色特征的區(qū)域分離開(kāi)來(lái)。通過(guò)設(shè)定適當(dāng)?shù)拈撝稻湍軌驅(qū)D像分割成具有明顯顏色特征的區(qū)域和其他區(qū)域。這個(gè)閾值分割的結(jié)果即為獲得的第二邊緣圖像，這張圖像突出了原始圖像中的顏色差異，強(qiáng)調(diào)了胡麻籽粒邊緣的顏色特征。具體包括：
獲取像素直方圖：對(duì)待識(shí)別的胡麻籽粒圖像進(jìn)行灰度化，將其轉(zhuǎn)換為灰度圖像；計(jì)算灰度圖像的像素直方圖，表示不同灰度級(jí)別的像素?cái)?shù)量。
提取胡麻籽粒邊界處的顏色特征值：從像素直方圖中識(shí)別具有代表性的灰度峰值，這些峰值對(duì)應(yīng)于胡麻籽粒圖像中的顏色特征?？梢允褂梅逯禉z測(cè)算法，如尋找直方圖中的局部最大值，以確定顏色特征值。胡麻籽粒邊緣處比其它處的顏色淺、灰度值最大，因此將直方圖中局部峰值灰度最大及其鄰域作為閾值區(qū)間。
根據(jù)閾值區(qū)間進(jìn)行閾值分割：將待識(shí)別的胡麻籽粒圖像與閾值區(qū)間進(jìn)行比較，通過(guò)簡(jiǎn)單的二值化，即將灰度值高于閾值區(qū)間的像素置為白色，而低于閾值區(qū)間的像素置為黑色。
獲得第二邊緣圖像：進(jìn)行閾值分割后，得到的圖像中胡麻籽粒邊緣將以明顯的形式呈現(xiàn)。這是因?yàn)轭伾卣髦档倪x擇使得胡麻籽粒與其周圍環(huán)境在圖像中有明顯的灰度差異。
步驟2.4、將第一邊緣圖像和第二邊緣圖像的并集作為整體邊緣圖像。
由于步驟2.2和步驟2.4獲得的第一邊緣圖像和第二邊緣圖像均是二值圖，因此取這兩張二值圖的交集作為整體邊緣圖像，即在兩張二值圖中均是白色的像素點(diǎn)標(biāo)記為白色，其余像素點(diǎn)均為黑色。
步驟3、使用目標(biāo)識(shí)別算法(YOLOv5s網(wǎng)絡(luò))獲得整體邊緣圖像形態(tài)完整的胡麻籽粒邊緣圖像。
YOLOv5s是一種目標(biāo)檢測(cè)算法，它可以準(zhǔn)確地定位圖像中的目標(biāo)位置。一般使用YOLOv5s獲得形態(tài)完整的胡麻籽粒邊緣圖像的步驟是首先使用YOLOv5s獲得形態(tài)完整的胡麻籽粒，然后對(duì)這些胡麻籽進(jìn)行邊緣檢測(cè)以獲得形態(tài)完整的胡麻籽粒邊緣。但是這樣在對(duì)YOLOv5s進(jìn)行訓(xùn)練過(guò)程中會(huì)引入與邊緣的無(wú)關(guān)因素，導(dǎo)致訓(xùn)練時(shí)的計(jì)算量較大和識(shí)別結(jié)果不準(zhǔn)確。本方法首先進(jìn)行邊緣檢測(cè)然后再識(shí)別，不僅可以大幅降低計(jì)算量，還可以使得YOLOv5s網(wǎng)絡(luò)更關(guān)注于邊緣特征，更加準(zhǔn)確的形態(tài)完整的胡麻籽粒邊緣。通過(guò)本發(fā)明所設(shè)計(jì)的流程，可以獲得形態(tài)學(xué)上更完整、更連續(xù)的胡麻籽粒邊緣，這對(duì)于后續(xù)形狀和大小分析、計(jì)數(shù)以及其他形態(tài)學(xué)特征的提取都是有利的。并且結(jié)合YOLOv5s的輕量性，能夠在相對(duì)短的時(shí)間內(nèi)完成目標(biāo)檢測(cè)任務(wù)，這使得在實(shí)時(shí)或近實(shí)時(shí)應(yīng)用中，可以更迅速地獲得胡麻籽粒的邊緣信息。更重要的是YOLOv5s提供了便捷的訓(xùn)練腳本和預(yù)訓(xùn)練模型，使得用戶能夠相對(duì)容易地針對(duì)自己的數(shù)據(jù)集進(jìn)行訓(xùn)練，這種簡(jiǎn)化的訓(xùn)練流程降低了使用門檻，有助于更廣泛地應(yīng)用于不同領(lǐng)域。具體包括：
步驟3.1、構(gòu)建YOLOv5s網(wǎng)絡(luò)，使用公開(kāi)數(shù)據(jù)集對(duì)YOLOv5s網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得訓(xùn)練完的YOLOv5s網(wǎng)絡(luò)。YOLOv5s網(wǎng)絡(luò)由圖像輸入端(Input)，主干網(wǎng)絡(luò)(Backbone)，頸部網(wǎng)絡(luò)(Neck)，預(yù)測(cè)輸出層(Head)4個(gè)模塊組成，如圖6所示，各個(gè)模塊具體包括：
主干網(wǎng)絡(luò)部分Backbone主要包括Conv結(jié)構(gòu)、C3結(jié)構(gòu)、Focus模塊和SPP模塊。其中Focus模塊在不丟失圖片信息的前提下，用切片操作，將圖片由三通道轉(zhuǎn)換成12通道，縮小了原圖像的尺寸，增大了通道數(shù)；類似于鄰近下采樣生成四張圖片，將得到的新圖片再經(jīng)過(guò)卷積操作，最終得到了沒(méi)有信息丟失情況下的二倍下采樣特征圖。C3模塊，是指含有三次卷積操作的CSPBottleneck模塊，從模型結(jié)構(gòu)設(shè)計(jì)的角度解決了推理中計(jì)算過(guò)多的問(wèn)題。SPP模塊又叫空間金字塔池化(SpatialPyramidPooling)，其目的是進(jìn)行特征融合，采用步長(zhǎng)一致但尺寸不同的卷積核實(shí)現(xiàn)，是在不影響特征圖大小的情況下，對(duì)各個(gè)尺度的特征圖進(jìn)行最大值池化，得到固定維度的全局特征描述。
頸部網(wǎng)絡(luò)部分Neck采用特征金字塔網(wǎng)絡(luò)(FPN，F(xiàn)eaturePyramidNetworks)和路徑聚合網(wǎng)絡(luò)(PAN，PathAggregationNetwork)相結(jié)合的結(jié)構(gòu)對(duì)不同分辨率的特征圖進(jìn)行多尺度特征融合，并把這些特征傳遞給預(yù)測(cè)層。Neck部分模塊的目的是為了更好地識(shí)別不同尺度的目標(biāo)。在深度學(xué)習(xí)領(lǐng)域，不同高度的特征層包含信息的重點(diǎn)不一樣，各有優(yōu)勢(shì)。高層特征層，語(yǔ)義信息多但是位置信息少，而低層特征層，位置信息多但是語(yǔ)義信息少。在Neck部分利用上采樣，下采樣操作，將高層和低層特征巧妙地融合起來(lái)。不斷上采樣的操作組合起來(lái)叫FPN結(jié)構(gòu)。不斷下采樣地結(jié)構(gòu)組合起來(lái)叫PAN結(jié)構(gòu)。兩者的結(jié)合，使得整個(gè)網(wǎng)絡(luò)的特征融合能力得到了很大的提升。
預(yù)測(cè)輸出層Head主要負(fù)責(zé)對(duì)Neck網(wǎng)絡(luò)提取的特征圖進(jìn)行多尺度目標(biāo)預(yù)測(cè)，可以預(yù)測(cè)目標(biāo)位置、類別、大中小目標(biāo)的預(yù)測(cè)和置信度等信息。
構(gòu)建好后接下來(lái)對(duì)YOLOv5s網(wǎng)絡(luò)的預(yù)訓(xùn)練，下載YOLOv5s的預(yù)訓(xùn)練權(quán)重，可以從官方GitHub倉(cāng)庫(kù)中獲??；利用公開(kāi)數(shù)據(jù)集對(duì)YOLOv5s進(jìn)行預(yù)訓(xùn)練，以使網(wǎng)絡(luò)學(xué)習(xí)一般的目標(biāo)檢測(cè)任務(wù)。
步驟3.2、使用少量的整體邊緣圖像構(gòu)建胡麻籽粒完整邊緣數(shù)據(jù)集，使用該數(shù)據(jù)集對(duì)訓(xùn)練完的YOLOv5s網(wǎng)絡(luò)進(jìn)行微調(diào)，獲得用于識(shí)別胡麻籽粒完整邊緣的YOLOv5s網(wǎng)絡(luò)，使用該YOLOv5s網(wǎng)絡(luò)對(duì)整體邊緣圖像中形態(tài)完整的胡麻籽粒邊緣進(jìn)行識(shí)別。
使用少量的整體邊緣圖像構(gòu)建的數(shù)據(jù)對(duì)訓(xùn)練好的YOLOv5s網(wǎng)絡(luò)進(jìn)行微調(diào)屬于遷移學(xué)習(xí)。遷移學(xué)習(xí)允許模型在一個(gè)任務(wù)上學(xué)習(xí)到的知識(shí)被有效地轉(zhuǎn)移到另一個(gè)相關(guān)任務(wù)上。這樣，即使在目標(biāo)任務(wù)的數(shù)據(jù)量相對(duì)較小或有限，模型也能夠更快速地學(xué)習(xí)，并在訓(xùn)練集較小的情況下取得良好的性能。通過(guò)使用在大規(guī)模數(shù)據(jù)集上訓(xùn)練過(guò)的預(yù)訓(xùn)練模型，可以避免從頭開(kāi)始訓(xùn)練模型，從而大大減少訓(xùn)練時(shí)間。這對(duì)于深度學(xué)習(xí)等需要大量計(jì)算資源的任務(wù)尤為重要。并且預(yù)訓(xùn)練的模型通常對(duì)底層特征和通用模式有很好的學(xué)習(xí)，這使得模型更具有泛化能力。在新任務(wù)中，即使數(shù)據(jù)分布有所變化，遷移學(xué)習(xí)的模型也可能更好地適應(yīng)新的數(shù)據(jù)分布。在某些情況下，可能存在一個(gè)任務(wù)的數(shù)據(jù)量比另一個(gè)任務(wù)大得多。預(yù)訓(xùn)練模型可以從大型任務(wù)中學(xué)到通用的特征，然后在較小的任務(wù)上進(jìn)行微調(diào)，從而緩解數(shù)據(jù)不平衡的問(wèn)題。在訓(xùn)練樣本較少的情況下，直接在目標(biāo)任務(wù)上訓(xùn)練可能導(dǎo)致過(guò)擬合。通過(guò)使用預(yù)訓(xùn)練模型，可以在更大的數(shù)據(jù)集上學(xué)到通用特征，減輕過(guò)擬合的風(fēng)險(xiǎn)。具體包括：
數(shù)據(jù)準(zhǔn)備：獲取胡麻籽粒的整體邊緣圖像數(shù)據(jù)集，其中包含形態(tài)完整的胡麻籽粒邊緣信息；將數(shù)據(jù)集劃分為訓(xùn)練集和驗(yàn)證集，確保數(shù)據(jù)集的多樣性和平衡性。
構(gòu)建胡麻籽粒完整邊緣數(shù)據(jù)集：使用少量整體邊緣圖像，手動(dòng)標(biāo)注形態(tài)完整的胡麻籽粒邊緣，生成標(biāo)簽文件，通常為YOLO格式的標(biāo)簽文件。
微調(diào)YOLOv5s網(wǎng)絡(luò)：使用預(yù)訓(xùn)練的YOLOv5s模型和構(gòu)建的胡麻籽粒完整邊緣數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)。調(diào)整訓(xùn)練參數(shù)，如學(xué)習(xí)率、批次大小等，以適應(yīng)新的任務(wù)。微調(diào)的目標(biāo)是使網(wǎng)絡(luò)更好地理解和識(shí)別胡麻籽粒的形態(tài)完整邊緣。
模型評(píng)估和調(diào)優(yōu)：使用驗(yàn)證集對(duì)微調(diào)后的模型進(jìn)行評(píng)估，檢查其性能。根據(jù)評(píng)估結(jié)果進(jìn)行調(diào)整，可能需要進(jìn)一步調(diào)整模型架構(gòu)或超參數(shù)，以優(yōu)化模型的準(zhǔn)確性。
胡麻籽粒形態(tài)完整邊緣識(shí)別：使用微調(diào)完成的YOLOv5s模型對(duì)整體邊緣圖像中的形態(tài)完整的胡麻籽粒邊緣進(jìn)行識(shí)別。
步驟4、將形態(tài)完整的胡麻籽粒邊緣圖像從整體邊緣圖像中進(jìn)行刪除，獲得殘缺邊緣圖像。
由于形態(tài)完整的胡麻籽粒邊緣圖像和整體邊緣圖像均是二值圖，將整體邊緣圖像作為二值圖像A、形態(tài)完整的胡麻籽粒邊緣圖像作為二值圖像B，從二值圖像A中刪除掉二值圖像B的內(nèi)容通?？梢酝ㄟ^(guò)圖像的邏輯運(yùn)算來(lái)實(shí)現(xiàn)。以下是詳細(xì)的步驟：
獲取二值圖像A和二值圖像B。確保它們具有相同的尺寸和相同的坐標(biāo)系。
將二值圖像B中的白色和黑色進(jìn)行翻轉(zhuǎn)，即將白色像素變?yōu)楹谏?，黑色像素變?yōu)榘咨?。這樣做是為了得到B圖像的補(bǔ)集，從而能夠在A圖像中去除B的內(nèi)容。
對(duì)取反后的B圖像和A圖像執(zhí)行邏輯AND操作。在這個(gè)操作中，只有在兩個(gè)圖像對(duì)應(yīng)位置都為白色時(shí)，結(jié)果圖像對(duì)應(yīng)位置才會(huì)是白色。
得到的結(jié)果圖像即為從A圖像中刪除了B的內(nèi)容的圖像。在這個(gè)結(jié)果圖像中，B圖像中的白色區(qū)域被去除，而保留了A圖像中的其他內(nèi)容，即殘缺邊緣。
對(duì)最終得到的殘缺邊緣圖像進(jìn)行必要的后處理，包括去除噪聲、平滑化、增強(qiáng)對(duì)比度等步驟，以獲得清晰且可用的圖像。
步驟5、根據(jù)殘缺邊緣圖像中各個(gè)殘缺邊緣的曲率對(duì)各個(gè)殘缺邊緣進(jìn)行補(bǔ)齊，獲得修正邊緣圖像。
使用曲率信息補(bǔ)齊殘缺邊緣可以增加圖像的信息完整性。曲率信息有助于推斷邊緣的形狀和方向，從而更準(zhǔn)確地修正邊緣的位置。在圖像分析和識(shí)別任務(wù)中，邊緣信息通常是關(guān)鍵要素。通過(guò)根據(jù)曲率信息修正邊緣，可以提高邊緣的準(zhǔn)確性，有助于更準(zhǔn)確地進(jìn)行圖像分析和對(duì)象識(shí)別。當(dāng)圖像中的邊緣由于某些原因而缺失或損壞時(shí)，通過(guò)曲率信息進(jìn)行補(bǔ)齊可以恢復(fù)缺失的邊緣，從而實(shí)現(xiàn)圖像的重建和恢復(fù)。具體包括：
步驟5.1、使用連通域提取算法獲得殘缺邊緣圖像中的各個(gè)殘缺邊緣，根據(jù)各個(gè)殘缺邊緣的像素位置，通過(guò)使用數(shù)值方法或微分幾何方法計(jì)算各個(gè)殘缺邊緣的曲率。
步驟5.2、根據(jù)胡麻籽粒完整的邊緣構(gòu)建擬合曲線。
對(duì)完整的邊緣進(jìn)行曲線擬合，可以采用多項(xiàng)式擬合、樣條曲線擬合等方法，以得到完整邊緣的數(shù)學(xué)表示。
步驟5.3、根據(jù)各個(gè)殘缺邊緣的曲率，將該曲率輸入到擬合曲線中對(duì)殘缺邊緣進(jìn)行擬合，對(duì)殘缺邊緣的殘缺部分進(jìn)行補(bǔ)齊，獲得修正邊緣圖像。
將計(jì)算得到的殘缺邊緣的曲率和像素位置輸入到之前得到的擬合曲線模型中。使用擬合曲線對(duì)殘缺邊緣進(jìn)行擬合，從而根據(jù)輸入的曲率和像素位置補(bǔ)齊殘缺部分。得到補(bǔ)齊后的完整邊緣圖像，此時(shí)殘缺部分已經(jīng)被擬合曲線修復(fù)。
步驟6、計(jì)算形態(tài)完整的胡麻籽粒邊緣圖像和修正邊緣圖像所對(duì)應(yīng)的形態(tài)特征值。
步驟6.1、使用連通域提取算法獲得形態(tài)完整的胡麻籽粒邊緣圖像和修正邊緣圖像中的所有單個(gè)形態(tài)完整的胡麻籽粒邊緣和所有單個(gè)修正邊緣。
由步驟3得到了形態(tài)完整的胡麻籽粒邊緣圖像，即待識(shí)別胡麻籽粒圖像中最上層的胡麻籽粒邊緣圖像，由步驟5獲得了補(bǔ)齊修正的胡麻籽粒邊緣圖像，即被遮蓋的胡麻籽粒邊緣圖像。
使用連通域算法獲得兩張圖像中的各個(gè)胡麻籽粒的邊緣。
步驟6.2、計(jì)算所有單個(gè)形態(tài)完整的胡麻籽粒邊緣和所有單個(gè)修正邊緣的形態(tài)特征值，包括：
將各個(gè)胡麻籽粒邊緣的像素個(gè)數(shù)作為各個(gè)胡麻籽粒的周長(zhǎng)。
統(tǒng)計(jì)各個(gè)胡麻籽粒邊緣圍起來(lái)區(qū)域的像素個(gè)數(shù)，將該個(gè)數(shù)作為對(duì)應(yīng)胡麻籽粒的面積。
將胡麻籽粒邊緣最小外接矩形的長(zhǎng)作為對(duì)應(yīng)胡麻籽粒的長(zhǎng)軸長(zhǎng)度。
將胡麻籽粒邊緣最小外接矩形的寬作為對(duì)應(yīng)胡麻籽粒的短軸長(zhǎng)度。
步驟6.3、根據(jù)各個(gè)胡麻籽粒的周長(zhǎng)、面積、長(zhǎng)軸長(zhǎng)度、短軸長(zhǎng)度計(jì)算整幅待識(shí)別胡麻籽粒圖像中胡麻籽粒的平均周長(zhǎng)、平均面積、平均長(zhǎng)軸長(zhǎng)度、平均短軸長(zhǎng)度及標(biāo)準(zhǔn)差，得到群體平均形態(tài)特征值。
本說(shuō)明書提供的方法具有以下好處：1.提高圖像識(shí)別準(zhǔn)確性：通過(guò)使用邊緣檢測(cè)算法和目標(biāo)識(shí)別算法，可以獲得胡麻籽粒的整體邊緣圖像，并篩選出形態(tài)完整的邊緣圖像。這有助于減少噪音和不相關(guān)信息，提高了后續(xù)形態(tài)分析和識(shí)別的準(zhǔn)確性。2.精細(xì)邊緣提?。和ㄟ^(guò)刪除形態(tài)完整的邊緣圖像，得到殘缺邊緣圖像，使得算法更關(guān)注那些可能存在缺陷或特殊形狀的部分。這有助于提高識(shí)別系統(tǒng)對(duì)于不同形態(tài)的胡麻籽粒的敏感性。3.自動(dòng)化缺陷修復(fù)：根據(jù)殘缺邊緣圖像中的曲率信息對(duì)各個(gè)殘缺邊緣進(jìn)行補(bǔ)齊，有助于自動(dòng)修復(fù)圖像中的缺陷，提高圖像的完整性和質(zhì)量。4.形態(tài)特征分析：通過(guò)計(jì)算形態(tài)完整的胡麻籽粒邊緣圖像和修正邊緣圖像的形態(tài)特征值，可以建立一個(gè)更全面的特征向量，用于形態(tài)學(xué)特征分析。這有助于更準(zhǔn)確地描述和區(qū)分不同形狀和結(jié)構(gòu)的胡麻籽粒。5.提高自動(dòng)化識(shí)別效率：整個(gè)流程的自動(dòng)化性質(zhì)有助于提高胡麻籽粒形態(tài)識(shí)別的效率，減少了人工操作的需求，適用于大規(guī)模圖像處理任務(wù)。
本說(shuō)明書提供了一種胡麻籽粒形態(tài)識(shí)別裝置，包括：
圖像獲取模塊，用于獲得待識(shí)別胡麻籽粒圖像；
胡麻籽粒邊緣圖像獲取模塊，用于通過(guò)邊緣檢測(cè)算法提取待識(shí)別胡麻籽粒圖像中各個(gè)胡麻籽粒的邊緣，獲得整體邊緣圖像；使用目標(biāo)識(shí)別算法獲得整體邊緣圖像中形態(tài)完整的胡麻籽粒邊緣圖像；
修正邊緣圖像獲取模塊，用于將形態(tài)完整的胡麻籽粒邊緣圖像從整體邊緣圖像中進(jìn)行刪除，獲得殘缺邊緣圖像；根據(jù)殘缺邊緣圖像中各個(gè)殘缺邊緣的曲率對(duì)各個(gè)殘缺邊緣進(jìn)行補(bǔ)齊，獲得修正邊緣圖像；
識(shí)別模塊，用于計(jì)算形態(tài)完整的胡麻籽粒邊緣圖像和修正邊緣圖像中各個(gè)胡麻籽粒的形態(tài)特征值，基于形態(tài)特征值輸出胡麻籽粒形態(tài)識(shí)別結(jié)果。
關(guān)于胡麻籽粒形態(tài)識(shí)別裝置的具體限定可以參見(jiàn)上文中對(duì)于胡麻籽粒形態(tài)識(shí)別方法的限定，在此不再贅述。上述胡麻籽粒形態(tài)識(shí)別裝置中的各個(gè)模塊可全部或部分通過(guò)軟件、硬件及其組合來(lái)實(shí)現(xiàn)。上述各模塊可以硬件形式內(nèi)嵌于或獨(dú)立于電子設(shè)備中的處理器中，也可以以軟件形式存儲(chǔ)于電子設(shè)備中的存儲(chǔ)器中，以便于處理器調(diào)用執(zhí)行以上各個(gè)模塊對(duì)應(yīng)的操作。
本說(shuō)明書還提供了圖7所示的電子設(shè)備的結(jié)構(gòu)示意圖，如圖7所示，在硬件層面，該電子設(shè)備包括處理器、內(nèi)部總線、網(wǎng)絡(luò)接口、內(nèi)存以及非易失性存儲(chǔ)器，當(dāng)然還可能包括其他業(yè)務(wù)所需要的硬件。處理器從非易失性存儲(chǔ)器中讀取對(duì)應(yīng)的計(jì)算機(jī)程序到內(nèi)存中然后運(yùn)行，以實(shí)現(xiàn)上述的胡麻籽粒形態(tài)識(shí)別方法。
本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程，所述的計(jì)算機(jī)程序可存儲(chǔ)于一非易失性計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，該計(jì)算機(jī)程序在執(zhí)行時(shí)，可包括如上述各方法的實(shí)施例的流程。其中，本申請(qǐng)所提供的各實(shí)施例中所使用的對(duì)存儲(chǔ)器、存儲(chǔ)、數(shù)據(jù)庫(kù)或其它介質(zhì)的任何引用，均可包括非易失性和易失性存儲(chǔ)器中的至少一種。非易失性存儲(chǔ)器可包括只讀存儲(chǔ)器(Read?OnlyMemory，ROM)、磁帶、軟盤、閃存或光存儲(chǔ)器等。易失性存儲(chǔ)器可包括隨機(jī)存取存儲(chǔ)器(RandomAccesMemory，RAM)或外部高速緩沖存儲(chǔ)器。作為說(shuō)明而非局限，RAM可以是多種形式，比如靜態(tài)隨機(jī)存取存儲(chǔ)器(Static RandomAcces Memory，SRAM)或動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(Dynamic RandomAcces Memory，DRAM)等。
以上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式，其描述較為具體和詳細(xì)，但并不能因此而理解為對(duì)發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保護(hù)范圍。因此，本發(fā)明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。
文章摘自國(guó)家發(fā)明專利，一種胡麻籽粒形態(tài)識(shí)別方法、裝置及電子設(shè)備，發(fā)明人：韓俊英，劉成忠，毛永文；申請(qǐng)?zhí)枺?/font>202410409645.4；申請(qǐng)日，2024.04.07
