農業機器人視覺識別雜草技術

雜草是農作物生產中的一大威脅，因為它與農作物爭奪養分、水分、空間和光照。每年，雖然投入了大量的勞力、除草劑和精力，但雜草的侵襲給全世界的農業生產造成了巨大的損失。目前，化學除草仍是農業生產體係中控製雜草的主要方式。通過在全田均勻噴灑除草劑，可以迅速消滅大部分雜草，成本低、效率高。隨著人們對食品安全和環境保護的日益重視，盡量減少化學除草劑的使用是大勢所趨。通過以非化學方式自動清除雜草或精準施用除草劑，機器人係統被認為是減少傳統農業中二氧化碳排放和農用化學品環境負荷的可行選擇。為了實現高性能的機器人除草，特別是行內處理，必須正確檢測和定位作物和雜草。世界各地的研究人員已經探索出了廣泛的植物檢測和定位方法，這些方法基於RTK GPS(實時運動學全球定位係統)、機器視覺、激光傳感器、X射線、超聲波等。RTK GPS係統可以為機器人除草提供作物植株和雜草的絕對位置，其前提是在處理前利用RTK GPS引導種植係統對作物進行種植，或者已經建立了作物/雜草分布圖[1，2]。基於RTK-GPS的除草係統不會受到雜草密度、陰影、缺株的不利影響，但會受到衛星分布、天氣狀況、無線電幹擾和地理環境的影響。一些研究者研究了用激光傳感器檢測植物的方法[3，4，5]。激光傳感器通常價格相對較高，並且需要複雜的程序來處理輸出的三維點雲。X射線可以用於作物檢測，因為植物的主莖會吸收X射線能量[6]。然而，X射線係統的安全性和成本是人們最關心的問題。在這一領域的研究報道非常少。隨著計算機技術、圖形學和圖像處理技術的快速發展，機器視覺已被廣泛應用於各種農業任務中。沿作物行的自主引導、單個植株的檢測、機器人除草的雜草圖繪製等都是應用機器視覺的重要領域。由於機器視覺可以提供目標物的顏色、形狀、紋理、深度等豐富的信息，且精度相當高，成本相對較低，因此以往關於植物檢測的研究大多基於機器視覺。                       

 圖1 各類農業機器人
田間環境是複雜多變的非結構化環境，受氣候、時間、農藝措施等因素影響。因此，研究人員在設計機器視覺係統和圖像處理算法時，必須考慮到除草作業的要求以及田間環境的特點。基於機器視覺的係統應用於機器人除草中，一個值得關注的問題是，它們很可能受到自然光的影響，而自然光會隨著時間的變化而變化。這主要給植被(作物和雜草)和背景(裸露的土壤、岩石和殘留物)之間的分割以及特征提取帶來困難。另一個挑戰是區分外表相似的農作物和雜草。此外，當植物之間發生嚴重遮擋時，識別單個植物是非常具有挑戰性的。到目前為止已經在1）應對不同的室外光照，2）作物/雜草識別方麵付出了大量的努力。本文根據近期發表的論文Review of Machine-Vision-Based Plant Detection Technologies forRobotic Weeding，一起了解相關工作。
 
二、處理多變的自然光
當機器視覺係統在野外環境中工作時，日光的強度和光譜內容可能會隨著時間的推移而變化。在晴天，由於圖像中存在高光和陰影，圖像處理變得更加困難。因此，有必要設計出對光線變化具有魯棒性的係統及其算法。許多研究者已經研究了在不同自然光照下提高機器視覺係統性能的方法，如使用陰影、特別注意選擇分割指數，或其他方法使圖像處理算法對可變光照更加強大。

A. 陰影和人工照明
在許多研究中，為了獲得恒定的光照條件，采用了人工照明和遮光等物理方法。如圖1(a)所示，[7]所述的雜草識別係統擁有三盞400 W金屬鹵素燈的專用植物燈來照亮視野，並有一個防光的聚乙烯薄膜罩來遮擋自然光。商用機器人除草係統Steketee IC[8]的金屬罩下安裝有攝像頭和大功率LED燈，用於監控每行作物，如圖1(b)所示。金屬罩保證了不會受到陽光和陰影的影響。圖1(c)中的BoniRob農業田間機器人[9]也是利用陰影以及人工照明來控製作業區域的光照度。有些係統隻采用人工照明來維持相對穩定的照明條件。如圖1(d)所示，Robovator行內除草係統[10]在每個攝像頭後麵安裝了一個鹵素燈，以保持相對穩定的照明。但在圖像采集區域上方沒有配備遮擋物。AgBot II[11，12]在攝像頭後麵配備了脈衝照明模塊，以提高采集圖像的質量，如圖1(e)所示。至於這兩套係統，從環境中反射的自然光及其機械部件的陰影仍可能影響機器視覺係統。對於視場較窄的視覺係統來說，通過拚接機械方案和人工照明來應對多變的自然光，降低開發圖像處理算法的難度。然而，一些除草係統，如圖1(f)所示的Garford Robocrop InRow除草機[13]，使用每台攝像機監視多行作物。為了獲得足夠寬的視野，攝像機應安裝在較高的位置。在這種情況下，陰影和人工照明會導致機器更加笨重和昂貴。許多研究人員堅持不懈地致力於設計對可變光照更為穩健的圖像處理算法。
 
B. 考慮光照變化的圖像處理
在大多數植物檢測方法中，首先要對植被(農作物和雜草)和土壤背景進行分割，然後進行農作物/雜草識別和定位程序。因此，植被和土壤背景的分割直接受到光照條件變化的影響。目前大多方法均在自然光照下采集的圖像上進行了測試，取得了一些良好的效果。但是，現場條件複雜多變，一種指數或分割方法很難具有普遍適用性。在更具挑戰性的情況下，如處理中午在強烈陽光下采集的帶有部分陰影的圖像，需要進一步的測試和驗證，以改進現有的方法，開發出更通用、更穩健的方法。
 
三、作物/雜草識別  
在機器人除草的作物和雜草檢測程序中，最重要的一步是正確區分作物植株和雜草。由於雜草的種類繁多且分布不規則，而農作物和雜草在物理特征上又有相似之處，因此區分農作物和雜草並不是一件容易的事情。傳統的方法通常是利用農作物和雜草在顏色（或光譜特征）、形狀、質地、大小、高度和分布等特征上的差異。隨著深度學習技術的興起，越來越多的研究者開始應用深度神經網絡來進行端到端的作物/雜草識別。
 
A. 基於顏色的作物/雜草識別
雖然大多數作物和雜草都是綠色的，但它們的光譜特征是不同的。直觀地說，它們呈現出不同的綠色。顏色特征的提取比較簡單快速，這對於根據顏色的區別來區分農作物和雜草是有利的。基於顏色特征的方法與基於紋理或形狀特征的方法相比，通常不那麼複雜。當待區分植物的顏色（光譜特征）比較接近時，使用顏色特征不能達到滿意的區分效果。在更多的研究中，研究人員將顏色與其他特征結合起來進行作物/雜草的識別。
 
B. 基於形狀的作物/雜草識別
由於田間植物的葉子形狀各異，為視覺上區分不同植物提供了重要的信息來源。因此，許多方法設計並提取形狀特征來區分作物和雜草。當植物葉子完好無損且無遮擋時，基於形狀的方法可以非常有效。當植物葉片上有重疊和損傷時，提取形狀特征的難度明顯增加。此外，由於作物和雜草種類繁多，目前還缺乏一套通用的形狀特征用於作物/雜草的識別。
 
C. 基於紋理的作物/雜草識別
 在田間圖像中，由於植物在葉子大小、輪廓、脈絡分布和密度上的差異，植物呈現出不同的紋理。因此，可以利用紋理特征來區分作物和雜草。基於紋理的方法在植物冠層的紋理頻率存在顯著差異的情況下非常有用。與形狀特征類似，紋理特征提取也是一個相對複雜、計算量大的圖像處理過程。通常情況下，特征選擇和降維算法來選擇貢獻度較好的特征作為分類器的輸入。紋理特征的優點是當作物和雜草的葉子相互遮擋時，它比形狀特征在分離和識別方麵更加穩健。
 
D. 基於高度的作物/雜草識別
通常，在同一田塊中，作物植株的高度與雜草的高度大體相近，而與雜草的高度不同。特別是在移栽的作物田中，作物植物在高度上比雜草有明顯的優勢。立體視覺係統可以獲得視野內的深度信息，這為根據作物和雜草的高度進行分割提供了一種方法。基於立體視覺的方法優勢明顯，因為它們可以利用二維圖像的信息，同時引入植物的高度。另一方麵，它們的缺點是需要複雜而耗時的程序來處理三維點雲數據。
 
E. 基於分布的作物/雜草識別
由於大部分農作物都是按一定的行距種植的，現有的很多方法都是根據農作物植株的線性分布來提取農作物行，在此基礎上可以有效地將農作物與行間雜草分開。植物的空間排列可以成為一個可靠的特征，因為它受視覺外觀變化的影響更小。但是，它需要根據作物種植模式對每塊田地進行調整，並且受到缺株和種植不準確的幹擾。
 
F. 基於深度學習的作物/雜草識別
由於作物和雜草種類繁多，且缺乏一個通用的特征，大多數方法通過結合多個特征來判別作物和雜草。針對不同的識別對象和環境，選擇合適的特征和分類方法是提高算法魯棒性的關鍵。與傳統方法相比，深度學習技術極大地改變了特征選擇和分類方式。深度卷積神經網絡(CNN)呈現出強大的特征提取能力，可以進行端到端的預測。深度學習技術在作物和雜草識別中的應用已成為新的研究前沿。深度學習方法的性能明顯優於依靠手工製作特征的傳統方法。它們還呈現出良好的泛化能力，這對於在真實的農業環境中工作是一個重要的特征，因為植物的種類和外觀會隨著田地和表象的變化而變化。然而，絕大多數基於深度學習的方法都采用監督學習，需要大量的訓練數據才能獲得最佳性能。
 
G. 現有數據集
目前，能夠找到的開源野外圖像數據集非常少。這主要是由於植物種類和田間條件的多樣性，而且田間圖像的標注過程具有挑戰性，非常耗時。其中一個被廣泛使用的公開田間圖像數據集是由Chebrolu等人創建的[9]。該數據集包含了一個農業機器人上配備的傳感器收集的5TB數據，包括一個4通道多光譜相機、一個RGB-D傳感器和其他傳感器，在三個月的時間裏從甜菜田裏收集到的數據。目前，仍缺乏大規模、高質量、多物種、開源的田間圖像數據集，用於訓練植物深度識別模型，進行公平比較，促進該研究領域的技術進步。
  
四、結論
從目前研究情況可以明確以下幾點：1)為了應對野外環境中多變的自然光，已經提出了大量的物理解決方案以及算法，而物理解決方案被認為更可靠，更容易實現。2）雖然基於深度學習的方法已經優於傳統的手工的特征方法，但將手工的特征和其他先驗知識與深度學習模型相結合，有望減少訓練和重新調整模型的標注工作；3）立體相機和多光譜相機可以參與到更多的係統中，因為它們可以提供更多的信息，有助於提高係統在挑戰性條件下的準確性和魯棒性。我們預計，未來在在線大數據和計算源的支持下，基於人工智能和通信技術的進步，植物識別將更加準確和精細。

查看更多相似文章