摘  要：本申請?zhí)峁┮环N亞麻倒伏面積的檢測方法、裝置、設備及存儲介質，涉及人工智能技術領域。通過將待檢測區(qū)域的全景圖像輸入至圖像語義分割模型進行像素類別預測，得到全景圖像中各像素的像素類別，像素類別包含亞麻倒伏區(qū)域對應的第一像素類別、亞麻未倒伏區(qū)域對應的第二像素類別及背景區(qū)域對應的第三像素類別中的至少一種；之后，根據(jù)像素類別，確定待檢測區(qū)域的亞麻倒伏面積。其中，圖像語義分割模型使用深度學習算法實現(xiàn)對全景圖像的像素類別進行精細化分割和理解，提高亞麻倒伏面積檢測的準確度，且相較根據(jù)構造的特征進行學習得到的檢測模型，圖像語義分割模型的泛化能力更強，可適用于復雜或大規(guī)模數(shù)據(jù)的預測處理。

 

技術要點

1.一種亞麻倒伏面積的檢測方法，其特征在于，包括：
獲取待檢測區(qū)域的全景圖像；

將所述全景圖像輸入至圖像語義分割模型進行像素類別預測，得到所述全景圖像中各像素的像素類別，所述像素類別包含亞麻倒伏區(qū)域對應的第一像素類別、亞麻未倒伏區(qū)域對應的第二像素類別以及背景區(qū)域對應的第三像素類別中的至少一種；

根據(jù)所述像素類別，確定所述待檢測區(qū)域的亞麻倒伏面積。

2.根據(jù)權利要求1所述的檢測方法，其特征在于，所述根據(jù)所述像素類別，確定所述待檢測區(qū)域的亞麻倒伏面積，包括：

根據(jù)不同所述像素類別分別對應的像素個數(shù)，確定所述待檢測區(qū)域的亞麻倒伏面積。

3.根據(jù)權利要求1所述的方法，其特征在于，所述獲取待檢測區(qū)域的全景圖像，包括：

獲取針對所述待檢測區(qū)域的鳥瞰圖像數(shù)據(jù)；根據(jù)所述鳥瞰圖像數(shù)據(jù)，拼接得到所述全景圖像。

4.根據(jù)權利要求1至3中任一項所述的方法，其特征在于，所述將所述全景圖像輸入至圖像語義分割模型進行像素類別預測，得到所述全景圖像中各像素的像素類別，包括：

對所述全景圖像進行分割處理，得到多個設定大小的子圖像；

針對多個子圖像中的每個子圖像，將所述子圖像輸入至圖像語義分割模型進行像素類別預測，得到所述子圖像中各像素的像素類別。

5.根據(jù)權利要求1至3中任一項所述的方法，其特征在于，所述根據(jù)所述像素類別，確定所述待檢測區(qū)域的亞麻倒伏面積之后，還包括：

獲取相關人員對所述待檢測區(qū)域的亞麻倒伏面積的正確性的確認結果；

若所述確認結果指示不正確，則利用人工確認或修正后的結果作為真值優(yōu)化所述圖像語義分割模型。

6.根據(jù)權利要求1至3中任一項所述的方法，其特征在于，所述圖像語義分割模型對應的訓練數(shù)據(jù)是通過以下方式得到的：

獲取樣本全景圖像；

對所述樣本全景圖像進行圖像數(shù)據(jù)增強處理，得到處理后的圖像，所述訓練數(shù)據(jù)包括處理后的圖像以及所述樣本全景圖像對應的標注結果，所述圖像數(shù)據(jù)增強處理包括剪切、旋轉/反射/翻轉變換、縮放變換、平移變換、尺度變換、對比度變換、噪聲擾動和顏色變換中的至少一種。

7.一種亞麻倒伏面積的檢測裝置，其特征在于，包括：

獲取模塊，用于獲取待檢測區(qū)域的全景圖像；

預測模塊，用于將所述全景圖像輸入至圖像語義分割模型進行像素類別預測，得到所述全景圖像中各像素的像素類別，所述像素類別包含亞麻倒伏區(qū)域對應的第一像素類別、亞麻未倒伏區(qū)域對應的第二像素類別以及背景區(qū)域對應的第三像素類別中的至少一種；

確定模塊，用于根據(jù)所述像素類別，確定所述待檢測區(qū)域的亞麻倒伏面積。

8.一種電子設備，其特征在于，包括：處理器，以及與所述處理器通信連接的存儲器；

所述存儲器存儲計算機程序；

所述處理器執(zhí)行所述計算機程序，以實現(xiàn)如權利要求1至6中任一項所述的亞麻倒伏面積的檢測方法。

9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質中存儲有計算機程序，所述計算機程序被執(zhí)行時，實現(xiàn)如權利要求1至6中任一項所述的亞麻倒伏面積的檢測方法。

10.一種計算機程序產(chǎn)品，包括計算機程序，其特征在于，所述計算機程序被執(zhí)行時實現(xiàn)如權利要求1至6中任一項所述的亞麻倒伏面積的檢測方法。

 

技術領域

本申請涉及人工智能技術，尤其涉及一種亞麻倒伏面積的檢測方法、裝置、設備及存儲介質。

 

背景技術

亞麻是密植作物，由于莖稈細弱但冠層較大，受到自然因素或者外力作用時，很容易發(fā)生大面積倒伏，倒伏會對亞麻的產(chǎn)量和品質產(chǎn)生極大的影響。因此，及時準確的獲得亞麻的倒伏面積，可為確定受災面積、及時評估損失提供技術支撐。

傳統(tǒng)的人工測量倒伏面積，需要調查人員深入田間對倒伏程度進行判斷，測量倒伏面積，隨機性及主觀性強，對大面積倒伏且倒伏不均的災害情況，測量費時費力，并且測量誤差較大。

隨著人工智能技術的發(fā)展，可使用機器視覺技術來檢測亞麻倒伏。目前對于亞麻倒伏的檢測，多基于傳統(tǒng)的機器學習方法。該傳統(tǒng)的機器學習方法中，前期依賴人工構造特征，根據(jù)構造的特征進行學習訓練得到檢測模型，導致檢測模型的泛化能力較弱，在復雜或大規(guī)模數(shù)據(jù)的預測處理上有一定的局限。

 

發(fā)明內容

本申請?zhí)峁┮环N亞麻倒伏面積的檢測方法、裝置、設備及存儲介質，用以改善根據(jù)構造的特征進行學習訓練得到檢測模型存在的泛化能力較弱，在復雜或大規(guī)模數(shù)據(jù)的預測處理上有一定的局限的問題。

第一方面，本申請?zhí)峁┮环N亞麻倒伏面積的檢測方法，包括：

獲取待檢測區(qū)域的全景圖像；

將全景圖像輸入至圖像語義分割模型進行像素類別預測，得到全景圖像中各像素的像素類別，像素類別包含亞麻倒伏區(qū)域對應的第一像素類別、亞麻未倒伏區(qū)域對應的第二像素類別以及背景區(qū)域對應的第三像素類別中的至少一種；

根據(jù)像素類別，確定待檢測區(qū)域的亞麻倒伏面積。

在一種可能的實施方式中，上述根據(jù)像素類別，確定待檢測區(qū)域的亞麻倒伏面積，包括：

根據(jù)不同像素類別分別對應的像素個數(shù)，確定待檢測區(qū)域的亞麻倒伏面積。

在一種可能的實施方式中，上述獲取待檢測區(qū)域的全景圖像，包括：

獲取針對待檢測區(qū)域的鳥瞰圖像數(shù)據(jù)；

根據(jù)鳥瞰圖像數(shù)據(jù)，拼接得到全景圖像。

在一種可能的實施方式中，上述將全景圖像輸入至圖像語義分割模型進行像素類別預測，得到全景圖像中各像素的像素類別，包括：對全景圖像進行分割處理，得到多個設定大小的子圖像；針對多個子圖像中的每個子圖像，將子圖像輸入至圖像語義分割模型進行像素類別預測，得到子圖像中各像素的像素類別。

在一種可能的實施方式中，上述根據(jù)像素類別，確定待檢測區(qū)域的亞麻倒伏面積，之后，亞麻倒伏面積的檢測方法還可以包括：獲取相關人員對待檢測區(qū)域的亞麻倒伏面積的正確性的確認結果；若上述確認結果指示不正確，則利用人工確認或修正后的結果作為真值優(yōu)化圖像語義分割模型。

在一種可能的實施方式中，上述圖像語義分割模型對應的訓練數(shù)據(jù)是通過以下方式得到的：

獲取樣本全景圖像；

對樣本全景圖像進行圖像數(shù)據(jù)增強處理，得到處理后的圖像，其中，訓練數(shù)據(jù)包括處理后的圖像以及樣本全景圖像對應的標注結果，圖像數(shù)據(jù)增強處理包括剪切、旋轉/反射/翻轉變換、縮放變換、平移變換、尺度變換、對比度變換、噪聲擾動和顏色變換中的至少一種。

第二方面，本申請?zhí)峁┮环N亞麻倒伏面積的檢測裝置，包括：

獲取模塊，用于獲取待檢測區(qū)域的全景圖像；

預測模塊，用于將全景圖像輸入至圖像語義分割模型進行像素類別預測，得到全景圖像中各像素的像素類別，像素類別包含亞麻倒伏區(qū)域對應的第一像素類別、亞麻未倒伏區(qū)域對應的第二像素類別以及背景區(qū)域對應的第三像素類別中的至少一種；

確定模塊，用于根據(jù)像素類別，確定待檢測區(qū)域的亞麻倒伏面積。

在一種可能的實施方式中，確定模塊可以具體用于：根據(jù)不同像素類別分別對應的像素個數(shù)，確定待檢測區(qū)域的亞麻倒伏面積。

在一種可能的實施方式中，獲取模塊可以具體用于：獲取針對待檢測區(qū)域的鳥瞰圖像數(shù)據(jù)；根據(jù)鳥瞰圖像數(shù)據(jù)，拼接得到全景圖像。

在一種可能的實施方式中，預測模塊可以具體用于：對全景圖像進行分割處理，得到多個設定大小的子圖像；針對多個子圖像中的每個子圖像，將子圖像輸入至圖像語義分割模型進行像素類別預測，得到子圖像中各像素的像素類別。

在一種可能的實施方式中，獲取模塊還可以用于：獲取相關人員對待檢測區(qū)域的亞麻倒伏面積的正確性的確認結果；若該確認結果指示不正確，則利用人工確認或修正后的結果作為真值優(yōu)化圖像語義分割模型。

在一種可能的實施方式中，上述圖像語義分割模型對應的訓練數(shù)據(jù)是通過以下方式得到的：

獲取樣本全景圖像；

對樣本全景圖像進行圖像數(shù)據(jù)增強處理，得到處理后的圖像，其中，訓練數(shù)據(jù)包括處理后的圖像以及樣本全景圖像對應的標注結果，圖像數(shù)據(jù)增強處理包括剪切、旋轉/反射/翻轉變換、縮放變換、平移變換、尺度變換、對比度變換、噪聲擾動和顏色變換中的至少一種。

第三方面，本申請?zhí)峁┮环N電子設備，包括：處理器，以及與處理器通信連接的存儲器；

存儲器存儲計算機程序；

存儲器存儲計算機程序；處理器執(zhí)行計算機程序，使得處理器執(zhí)行第一方面任一項所述的亞麻倒伏面積的檢測方法。

第四方面，本申請?zhí)峁┮环N計算機可讀存儲介質，該計算機可讀存儲介質中存儲有計算機程序，當該計算機程序被執(zhí)行時，實現(xiàn)如第一方面任一項所述的亞麻倒伏面積的檢測方法。

第五方面，本申請?zhí)峁┮环N計算機程序產(chǎn)品，包括計算機程序，該計算機程序被執(zhí)行時實現(xiàn)如第一方面任一項所述的亞麻倒伏面積的檢測方法。

本申請?zhí)峁┑囊环N亞麻倒伏面積的檢測方法、裝置、設備及存儲介質，利用圖像語義分割模型，對待檢測區(qū)域的全景圖像進行像素類別預測，得到全景圖像中各像素的像素類別，其中，圖像語義分割模型使用深度學習算法實現(xiàn)對全景圖像的像素類別進行精細化分割和理解，從而確定出待檢測區(qū)域的亞麻倒伏面積，提高了亞麻倒伏面積檢測的準確度，且相較根據(jù)構造的特征進行學習得到的檢測模型，圖像語義分割模型的泛化能力更強，可適用于復雜或大規(guī)模數(shù)據(jù)的預測處理。

 

附圖說明

此處的附圖被并入說明書中并構成本說明書的一部分，示出了符合本申請的實施例，并與說明書一起用于解釋本申請的原理。

圖1為本申請一實施例提供的應用場景示意圖；

  

圖2為本申請一實施例提供的亞麻倒伏面積的檢測方法的流程示意圖；

  

圖3為本申請一實施例提供的FCN的結構示意圖；

  

圖4為本申請實施例提供的訓練數(shù)據(jù)生成的流程示意圖；

  

圖5為本申請另一實施例提供的亞麻倒伏面積的檢測方法的流程示意圖；

  

圖6為本申請一實施例提供的亞麻倒伏面積的檢測裝置的結構示意圖；

  

圖7為本申請一實施例提供的電子設備的結構示意圖。

  

通過上述附圖，已示出本申請明確的實施例，后文中將有更詳細的描述。這些附圖和文字描述并不是為了通過任何方式限制本申請構思的范圍，而是通過參考特定實施例為本領域技術人員說明本申請的概念。

 

具體實施方式

這里將詳細地對示例性實施例進行說明，其示例表示在附圖中。下面的描述涉及附圖時，除非另有表示，不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實施例中所描述的實施方式并不代表與本申請相一致的所有實施方式。相反，它們僅是與如所附權利要求書中所詳述的、本申請的一些方面相一致的裝置和方法的例子。

本申請涉及的亞麻(LinumusitatissimumL.)是亞麻科(Linaceae)亞麻屬(Linum)草本植物，種植歷史悠久，是人類最早使用的天然纖維植物之一。利用亞麻纖維生產(chǎn)、制作的高檔紡織品、服裝面料等具有涼爽、吸濕、透氣的特點，深受現(xiàn)代人們的喜愛。亞麻也是重要的油料作物，亞麻籽油也稱亞麻油?，F(xiàn)代科學研究發(fā)現(xiàn)，亞麻籽油中含有人體必需的不飽和脂肪酸—α‐亞麻酸，其含量高達53%，α‐亞麻酸具有益智健腦、改善視力，以及降低血脂、降低血糖、降低血黏度、預防心腦血管疾病等多種保健功效，營養(yǎng)價值和經(jīng)濟價值都很高。

但亞麻很容易發(fā)生倒伏，因此倒伏也是制約亞麻纖維和種子產(chǎn)量和品質的重要因素。特別是在我國南方地區(qū)，在亞麻收獲期前降水量大，且伴隨刮風，很容易出現(xiàn)大面積倒伏，對亞麻產(chǎn)量影響極大。因此，及時準確的獲知亞麻倒伏面積，可為確定受災面積、及時評估損失提供技術支撐。

在實際大田環(huán)境中，針對倒伏程度不同、倒伏區(qū)域不均勻、倒伏區(qū)域廣等特點，傳統(tǒng)的人工測量倒伏面積存在隨機性強、主觀性強等問題，不僅費時費力、效率還低。此外，現(xiàn)有的亞麻倒伏面積檢測方法使用的機器視覺技術，多基于傳統(tǒng)的機器學習方法，依賴人工構造特征，檢測方法魯棒性和可遷移性弱，且由于圖像拍攝方式的多樣化(例如衛(wèi)星數(shù)碼相機拍攝、遙感影像等)、周圍環(huán)境的干擾及天氣或者地形因素等均會導致圖像的質量差異性較大，都會導致傳統(tǒng)機器學習算法對特征值無法準確的提取，從而預測結果不夠精準。另外，傳統(tǒng)機器學習算法過度依賴人工的特征選擇，會失去特征之間的關聯(lián)性和待測數(shù)據(jù)的大局特征，導致檢測模型的泛化能力較弱，在復雜或大規(guī)模數(shù)據(jù)的預測處理上有一定的局限。

針對上述技術問題，本申請?zhí)峁┑膩喡榈狗娣e的檢測方法、裝置、設備及存儲介質，旨在利用圖像語義分割模型使用深度學習方法自動檢測亞麻倒伏區(qū)域，從而提高亞麻倒伏面積檢測的準確度，且相較根據(jù)構造的特征進行學習得到的檢測模型，圖像語義分割模型的泛化能力更強，可適用于復雜或大規(guī)模數(shù)據(jù)的預測處理。

下面以具體的實施例對本申請的技術方案以及本申請的技術方案如何解決上述技術問題進行詳細說明。下面這幾個具體的實施例可以相互結合，對于相同或相似的概念或過程可能在某些實施例中不再贅述。下面將結合附圖，對本申請的實施例進行描述。

圖1為本申請一實施例提供的應用場景示意圖。請參見圖1，用戶101可以通過例如無人機等圖像采集設備102采集待檢測區(qū)域的鳥瞰圖像數(shù)據(jù)，并通過圖像處理設備103根據(jù)鳥瞰圖像數(shù)據(jù)得到待檢測區(qū)域的全景圖像，然后，將該全景圖像輸入到部署有圖像語義分割模型的計算設備104中，計算設備通過圖像語義分割模型對全景圖像進行逐像素級的像素類別預測，輸出待檢測區(qū)域對應的亞麻倒伏面積。

需說明的是，圖1所示的應用場景僅為示例說明。其中，圖像采集設備、圖像處理設備和計算設備中的任意兩種或三種可為同一設備，且對各種設備的個數(shù)不進行限制，例如，對同一圖像采集設備采集得到的鳥瞰圖像數(shù)據(jù)，可通過多個圖像處理設備共同處理得到待檢測區(qū)域的全景圖像；或者，對同一全景圖像，可通過多個計算設備進行逐像素級的像素類別預測，并分別輸出對應待檢測區(qū)域對應的亞麻倒伏面積，等等，具體需根據(jù)實際需求進行設置。

另外，圖1中計算設備也僅以計算機為例進行示例說明，該計算設備還可以為蜂窩電話、智能電話、可穿戴設備、膝上型計算機、臺式計算機、工作臺、個人數(shù)字助理、服務器、刀片式服務器、服務器集群，等等。

圖2為本申請一實施例提供的亞麻倒伏面積的檢測方法的流程示意圖。

請參見圖2，該亞麻倒伏面積的檢測方法包括：

S201、獲取待檢測區(qū)域的全景圖像。

其中，對于待檢測區(qū)域，可以理解為待進行亞麻倒伏面積檢測的區(qū)域。

在本申請實施例中，全景圖像可以是在線實時生成的，也可以是預先生成的，例如，預先生成后存儲至一存儲設備中，在對待檢測區(qū)域的亞麻倒伏面積進行檢測時，執(zhí)行本申請實施例提供的亞麻倒伏面積的檢測方法的執(zhí)行主體，從該存儲設備中讀取該全景圖像。

至于全景圖像的生成方式，本申請實施例不對其進行限制。例如，可以利用無人機或手機拍攝的圖像采集方法，采集待檢測區(qū)域中包含的子區(qū)域的鳥瞰圖像數(shù)據(jù)，并拼接各子區(qū)域的鳥瞰圖像數(shù)據(jù)生成全景圖像。可選地，若全景圖像是圖像拼接得到的，則S201可以進一步包括：獲取針對待檢測區(qū)域的鳥瞰圖像數(shù)據(jù)；根據(jù)鳥瞰圖像數(shù)據(jù)，拼接得到全景圖像。其中，圖像拼接方法不限，可以使用全景圖像拼接軟件Hugin或MicrosoftICE軟件，也可以基于opencv(計算機視覺領域一個圖像和視頻處理庫)或其他方法或框架實現(xiàn)相關算法。

又例如，也可以使用無人機等圖像采集設備自帶的全景功能進行全景圖像的采集。

S202、將全景圖像輸入至圖像語義分割模型進行像素類別預測，得到全景圖像中各像素的像素類別，該像素類別包含亞麻倒伏區(qū)域對應的第一像素類別、亞麻未倒伏區(qū)域對應的第二像素類別以及背景區(qū)域對應的第三像素類別中的至少一種。

其中，圖像語義分割是一種基于像素級別對圖像進行語義理解和分類的技術，它使用深度學習算法對每一個像素預測類別，實現(xiàn)對圖像的精細化分割和理解。圖像語義分割可以給機器以語義理解的視覺能力。圖像語義分割在自動駕駛、醫(yī)療影像分析等領域有重要應用，本申請將其應用在亞麻倒伏面積的檢測中。

可選地，常用的圖像語義分割模型，例如可以包括：用于語義分割(SemanticSegmentation)的全卷積網(wǎng)絡(FullyConvolutionalNetworks，簡稱FCN)，用于生物醫(yī)學圖像分割的卷積網(wǎng)絡(ConvolutionalNetworksforBiomedicalImageSegmentation，或稱為“U‐Net”)，基于深度卷積網(wǎng)絡的語義圖像分割(SemanticImageSegmentationwithDeepConvolutionalNetworks，或稱為“DeepLab”)，以及，金字塔場景解析網(wǎng)絡(PyramidSceneParsingNetwork，簡稱PSPNet)等。

示例地，若使用用于語義分割的FCN對全景圖像進行預測，以下結合圖3所示結構對用于語義分割的FCN的工作流程進行說明：

用于語義分割的FCN的網(wǎng)絡結構可以分為兩個部分：全卷積部分和反卷積部分。其中，全卷積部分借用經(jīng)典的分類神經(jīng)網(wǎng)絡模型，例如(VisualGeometryGroupNetwork，VGG)、AlexNet、GoogLeNet，并把經(jīng)典的分類網(wǎng)絡模型最后的全連接層換成卷積，用于提取特征，從而獲得一張2維的特征圖(featuremap)。

在卷積過程中，卷積操作和池化操作會使特征圖的尺寸變小，為了使它恢復到輸入圖像相同的尺寸，從而可以對每個像素都產(chǎn)生一個類別預測，則需要采用反卷積層對最后一個卷積層輸出的特征圖進行上采樣，通過上采樣獲得原尺寸的語義分割圖像，得到全景圖像中各像素的像素類別。

通常情況下，待檢測區(qū)域可以包含亞麻倒伏區(qū)域、亞麻未倒伏區(qū)域以及背景區(qū)域中的至少一種，其中，背景區(qū)域即未種植亞麻的區(qū)域。這樣，根據(jù)待檢測區(qū)域的實際情況，經(jīng)過S202得到的像素類別可以包括亞麻倒伏區(qū)域對應的第一像素類別、亞麻未倒伏區(qū)域對應的第二像素類別以及背景區(qū)域對應的第三像素類別中的至少一種。

S203、根據(jù)像素類別，確定待檢測區(qū)域的亞麻倒伏面積。

在S202已得到全景圖像中各像素的像素類別的基礎上，可根據(jù)多種方式確定待檢測區(qū)域的亞麻倒伏面積。

示例地，一種實現(xiàn)方式中，該步驟可以包括：根據(jù)不同像素類別分別對應的像素個數(shù)，確定待檢測區(qū)域的亞麻倒伏面積。該實現(xiàn)方式中，待檢測區(qū)域的總面積S是已知的，該待檢測區(qū)域對應的總像素個數(shù)N是已知的，若某一待檢測區(qū)域對應第一像素類別的像素個數(shù)為N1，則該待檢測區(qū)域的亞麻倒伏面積(亞麻倒伏區(qū)域的面積)為N1*S/N。

或者，待檢測區(qū)域的總面積S是已知的，該待檢測區(qū)域對應的總像素個數(shù)N是已知的，若該待檢測區(qū)域對應第二像素類別的像素個數(shù)為N2，對應第三像素類別的像素個數(shù)為N3，根據(jù)N=N1+N2+N3，可得到該待檢測區(qū)域對應第一像素類別的像素個數(shù)N1，進而確定該待檢測區(qū)域的亞麻倒伏面積為N1*S/N。
類似地，還可以確定該待檢測區(qū)域的亞麻未倒伏面積(亞麻未倒伏區(qū)域的面積)和/或背景面積(背景區(qū)域的面積)。

或者，還可以理解為：先根據(jù)待檢測區(qū)域的總面積和該待檢測區(qū)域對應的總像素個數(shù)，確定單個像素對應的面積；之后，再將單個像素對應的面積與該待檢測區(qū)域對應第一像素類別的像素個數(shù)相乘，得到該待檢測區(qū)域的亞麻倒伏面積。

本申請實施例提供的亞麻倒伏面積的檢測方法，利用圖像語義分割模型對待檢測區(qū)域的全景圖像進行像素類別預測，得到全景圖像中各像素的像素類別，其中，圖像語義分割模型使用深度學習算法自動進行特征提取，實現(xiàn)對全景圖像的像素類別進行精細化分割和理解，從而準確確定待檢測區(qū)域的亞麻倒伏面積，提高了亞麻倒伏面積檢測的準確度，且相較根據(jù)構造的特征進行學習得到的檢測模型，圖像語義分割模型的泛化能力更強，具有更好的魯棒性，可以適用于更復雜多變的環(huán)境，滿足更多樣的用戶需求，例如適應不同的倒伏界限。

在上述實施例的基礎上，考慮到全景圖像可能存在較大的情況，也就是說，單個電子設備不具備同時處理整個全景圖像的算力，和/或，圖像語義分割模型不具備處理整個全景圖像的能力，此時，可以將全景圖像分割為電子設備和圖像語義分割模型可處理的圖像大小，進行分批次處理。因此，

一些實施例中，上述將全景圖像輸入至圖像語義分割模型進行像素類別預測，得到全景圖像中各像素的像素類別，可以包括：

對全景圖像進行分割處理，得到多個設定大小的子圖像；針對多個子圖像中的每個子圖像，將子圖像輸入至圖像語義分割模型進行像素類別預測，得到子圖像中各像素的像素類別，其中，全景圖像中各像素的像素類別包括各子圖像對應的像素類別。另外，子圖像尺寸大小主要由電子設備性能及選擇的網(wǎng)絡模型決定。例如，在搭載1080Ti顯卡的電子設備上，使用用于語義分割的FCN，可以使用512x512的設定大小的子圖像。

上述方法實施例是對圖像語義分割模型的應用，接下來，通過具體實施例說明如何訓練得到圖像語義分割模型。

在訓練得到圖像語義分割模型之前，首先要獲得圖像語義分割模型對應的訓練數(shù)據(jù)。圖4為本申請一實施例提供的訓練數(shù)據(jù)生成的流程示意圖。請參見圖4，圖像語義分割模型對應的訓練數(shù)據(jù)是通過以下方式得到的：

S401、獲取樣本全景圖像。

該步驟中，樣本全景圖像的獲取與S201中待檢測區(qū)域的全景圖像的獲取方式類似，此處不作贅述。

之后，對樣本全景圖像進行圖像標注。該步驟可由人工實現(xiàn)。具體地，人工標注出全景圖像中的背景區(qū)域，亞麻伏倒區(qū)域和亞麻未伏倒區(qū)域。對應地，設備存儲標注結果；或人工作用的設備響應標注操作，存儲標注結果。然后，設備利用樣本全景圖像和該樣本全景圖像對應的標注結果，訓練得到一個可輸出如前所述的第一像素類別、第二像素類別和第三像素類別的圖像語義分割模型。

示例地，對樣本全景圖像進行圖像標注，例如，可以使用labelme圖像語義分割標注工具對全景圖像進行標注，標記出亞麻倒伏區(qū)域、亞麻未倒伏區(qū)域和背景區(qū)域。

可選地，為減少需要標注的樣本全景圖像的數(shù)量，可以將加載在通用數(shù)據(jù)集(例如ImageNet、coco等)上的預訓練模型作為模型初始參數(shù)。

另外，還可以隨機將全景圖像隨機分割成固定尺寸的子圖像，組成訓練批次。其中，子圖像的尺寸大小、批次大小主要由運行設備性能及選擇的網(wǎng)絡模型決定。例如，在搭載1080Ti顯卡的設備上，使用用于語義分割的FCN，可以使用512x512大小的子圖像，每個批次包含16張子圖像。

進一步地，還可以通過S402進行圖像數(shù)據(jù)增強處理。

S402、對樣本全景圖像進行圖像數(shù)據(jù)增強處理，得到處理后的圖像，其中，訓練數(shù)據(jù)包括處理后的圖像以及樣本全景圖像對應的標注結果。

可選地，圖像數(shù)據(jù)增強處理例如包括剪切、旋轉/反射/翻轉變換、縮放變換、平移變換、尺度變換、對比度變換、噪聲擾動和顏色變換中的至少一種，通過圖像數(shù)據(jù)增強處理的方式可以增加訓練數(shù)據(jù)集的大小。

可選的，訓練數(shù)據(jù)生成可以是在線(online)的，即實時生成數(shù)據(jù)，不需要存儲；也可以是離線(offline)的，即提前生成。其中，在線方式生成訓練數(shù)據(jù)可以減少硬盤存儲空間消耗。

本申請實施例通過圖像數(shù)據(jù)增強技術，有效地擴大了訓練數(shù)據(jù)集，使得訓練出的圖像語義分割模型的預測效果更加準確。

另外，在圖像語義分割模型的應用階段，還可以對圖像語義分割模型進行優(yōu)化。一些實施例中，上述根據(jù)像素類別，確定待檢測區(qū)域的亞麻倒伏面積之后，亞麻倒伏面積的檢測方法還可以包括：獲取相關人員對待檢測區(qū)域的亞麻倒伏面積的正確性的確認結果；若確認結果指示不正確，則利用人工確認或修正后的結果作為真值優(yōu)化圖像語義分割模型。

圖5為本申請另一實施例提供的亞麻倒伏面積的檢測方法的流程示意圖。如圖5所示，在圖2所示流程的基礎上，亞麻倒伏面積的檢測方法還可以包括以下步驟：

S501、獲取相關人員對待檢測區(qū)域的亞麻倒伏面積的正確性的確認結果。

具體地，可視化待檢測區(qū)域的亞麻倒伏面積，以人工確認待檢測區(qū)域的亞麻倒伏面積是否準確。

若是，即相關人員認為待檢測區(qū)域的亞麻倒伏面積是正確(準確)的，則執(zhí)行S502；若否，即相關人員認為待檢測區(qū)域的亞麻倒伏面積是不正確的，即錯誤的，則執(zhí)行S503。

S502、輸出待檢測區(qū)域的亞麻倒伏面積比例。

可選地，亞麻倒伏面積比例(ratio)可通過以下方式得到：

  

上式中，“亞麻倒伏面積”還可以替換為“第一像素類別的像素面積”，“亞麻未倒伏面積”還可以替換為“第二像素類別的像素面積”。

S503、利用人工確認或修正后的結果作為真值優(yōu)化圖像語義分割模型。

人工調整分割結果，并把修正后的結果作為真值繼續(xù)優(yōu)化圖像語義分割模型。
本申請實施例，可視化分割結果，加入了人工確認步驟，不僅可以提升圖像語義分割模型的可靠性，還可以減少訓練階段的數(shù)據(jù)標注量。且，若發(fā)現(xiàn)模型預測錯誤，繼續(xù)優(yōu)化圖像語義分割模型，其模型預測的性能可不斷得以提升。

下述為本申請裝置實施例，可以用于執(zhí)行本申請方法實施例。對于本申請裝置實施例中未披露的細節(jié)，請參照本申請方法實施例。

圖6為本申請一實施例提供的亞麻倒伏面積的檢測裝置的結構示意圖。如圖6所示，該亞麻倒伏面積的檢測裝置600包括獲取模塊601、預測模塊602和確定模塊603。其中：

獲取模塊601，用于獲取待檢測區(qū)域的全景圖像。

預測模塊602，用于將全景圖像輸入至圖像語義分割模型進行像素類別預測，得到全景圖像中各像素的像素類別，像素類別包含亞麻倒伏區(qū)域對應的第一像素類別、亞麻未倒伏區(qū)域對應的第二像素類別以及背景區(qū)域對應的第三像素類別中的至少一種。

確定模塊603，用于根據(jù)像素類別，確定待檢測區(qū)域的亞麻倒伏面積。

在一種可能的實施方式中，確定模塊603可以具體用于：根據(jù)不同像素類別分別對應的像素個數(shù)，確定待檢測區(qū)域的亞麻倒伏面積。

在一種可能的實施方式中，獲取模塊601可以具體用于：獲取針對待檢測區(qū)域的鳥瞰圖像數(shù)據(jù)；根據(jù)鳥瞰圖像數(shù)據(jù)，拼接得到全景圖像。

在一種可能的實施方式中，預測模塊602可以具體用于：對全景圖像進行分割處理，得到多個設定大小的子圖像；針對多個子圖像中的每個子圖像，將子圖像輸入至圖像語義分割模型進行像素類別預測，得到子圖像中各像素的像素類別。

在一種可能的實施方式中，獲取模塊601還可以用于：獲取相關人員對待檢測區(qū)域的亞麻倒伏面積的正確性的確認結果；若該確認結果指示不正確，則利用人工確認或修正后的結果作為真值優(yōu)化圖像語義分割模型。

在一種可能的實施方式中，上述圖像語義分割模型對應的訓練數(shù)據(jù)是通過以下方式得到的：

獲取樣本全景圖像；

對樣本全景圖像進行圖像數(shù)據(jù)增強處理，得到處理后的圖像，其中，訓練數(shù)據(jù)包括處理后的圖像以及樣本全景圖像對應的標注結果，圖像數(shù)據(jù)增強處理包括剪切、旋轉/反射/翻轉變換、縮放變換、平移變換、尺度變換、對比度變換、噪聲擾動和顏色變換中的至少一種。

本申請實施例提供的亞麻倒伏面積的檢測裝置可以執(zhí)行上述方法實施例所示的技術方案，其實現(xiàn)原理以及有益效果類似，此次不再進行贅述。

圖7為本申請一實施例提供的電子設備的結構示意圖。如圖7所示，本實施例的電子設備包括：

至少一個處理器701；以及與所述至少一個處理器通信連接的存儲器702；

其中，所述存儲器702存儲有計算機程序，該計算機程序被所述至少一個處理器701執(zhí)行，以使電子設備700執(zhí)行如上述任一實施例所述的亞麻倒伏面積的檢測方法。

可選地，存儲器702既可以是獨立的，也可以跟處理器701集成在一起。

存儲器702可能包含高速隨機存取存儲器(RandomAccessMemory，簡稱RAM)，也可能還包括非易失性存儲器(non‐volatilememory)，例如至少一個磁盤存儲器。

處理器701可能是一個中央處理器(CentralProcessingUnit，簡稱CPU)，或者是專用集成電路(ApplicationSpecificIntegratedCircuit，簡稱ASIC)，或者是被配置成實施本申請實施例的一個或多個集成電路。具體的，在實現(xiàn)前述方法實施例所描述的程序運行權限處理方法時，該電子設備例如可以是服務器等具有處理功能的電子設備。

可選的，該電子設備700還可以包括通信接口703。在具體實現(xiàn)上，如果通信接口703、存儲器702和處理器701獨立實現(xiàn)，則通信接口703、存儲器702和處理器701可以通過總線相互連接并完成相互間的通信?？偩€可以是工業(yè)標準體系結構(IndustryStandardArchitecture，簡稱ISA)總線、外部設備互連(PeripheralComponent，簡稱PCI)總線或擴展工業(yè)標準體系結構(ExtendedIndustryStandardArchitecture，簡稱EISA)總線等。總線可以分為地址總線、數(shù)據(jù)總線、控制總線等，但并不表示僅有一根總線或一種類型的總線。

可選的，在具體實現(xiàn)上，如果通信接口703、存儲器702和處理器701集成在一塊芯片上實現(xiàn)，則通信接口703、存儲器702和處理器701可以通過內部接口完成通信。

本實施例提供的電子設備的實現(xiàn)原理和技術效果可以參見前述各實施例，此處不再贅述。

本申請實施例還提供一種計算機可讀存儲介質，所述計算機可讀存儲介質中存儲有計算機程序，當該計算機程序被執(zhí)行時，實現(xiàn)前述任一實施例所述的亞麻倒伏面積的檢測方法。

上述的計算機可讀存儲介質可以是由任何類型的易失性或非易失性存儲設備或者它們的組合實現(xiàn)，如靜態(tài)隨機存取存儲器(StaticRandomAccessMemory，簡稱SRAM)，電可擦除可編程只讀存儲器(ElectricallyErasableProgrammableReadOnlyMemory，簡稱EEPROM)，可擦除可編程只讀存儲器(ErasableProgrammableReadOnlyMemory，簡稱EPROM)，可編程只讀存儲器(ProgrammableReadOnlyMemory，簡稱PROM)，只讀存儲器(ReadOnlyMemory，簡稱ROM)，磁存儲器，快閃存儲器，磁盤或光盤?？勺x存儲介質可以是通用或專用計算機能夠存取的任何可用介質。

一種示例性的可讀存儲介質耦合至處理器，從而使處理器能夠從該可讀存儲介質讀取信息，且可向該可讀存儲介質寫入信息。當然，可讀存儲介質也可以是處理器的組成部分。處理器和可讀存儲介質可以位于專用集成電路中。當然，處理器和可讀存儲介質也可以作為分立組件存在于程序運行權限處理裝置中。

本申請實施例還提供一種計算機程序產(chǎn)品，包括計算機程序，該計算機程序被執(zhí)行時實現(xiàn)前述任一實施例所述的亞麻倒伏面積的檢測方法。

本領域技術人員在考慮說明書及實踐這里公開的發(fā)明后，將容易想到本申請的其它實施方案。本申請旨在涵蓋本申請的任何變型、用途或者適應性變化，這些變型、用途或者適應性變化遵循本申請的一般性原理并包括本申請未公開的本技術領域中的公知常識或慣用技術手段。說明書和實施例僅被視為示例性的，本申請的真正范圍和精神由下面的權利要求書指出。

應當理解的是，本申請并不局限于上面已經(jīng)描述并在附圖中示出的精確結構，并且可以在不脫離其范圍進行各種修改和改變。本申請的范圍僅由所附的權利要求書來限制。

 

摘自國家發(fā)明專利，發(fā)明人：王煒，葉春雷，陳軍，張朝巍，李靜雯，徐銀萍，陳子萱，申請?zhí)枺?/font>202310729020.1，申請日：2023.06.19