基於機器視覺技術快速準確地確定收穫後幹大豆種子的品質

基於機器視覺技術快速準確地確定收穫後幹大豆種子的品質

近年來以快速、準確地機器視覺為基礎的技術替代人力檢測農產品質量的技術受到了廣泛關注。

在這項研究中,我們描述了聯合多模式特徵袋(JMBoF)分類框架的低等級表示,用於檢查收穫後乾燥大豆種子的外觀質量。提取了兩類加速的魯棒特徵和L * a * b *顏色特徵的空間佈局,以表徵幹大豆種子仁。特徵包模型分別用於從以上兩個特徵生成可視詞典描述符。為了準確表示圖像特徵,我們引入了低秩表示(LRR)方法,從長聯合的兩種模態字典描述符中消除了冗餘信息。多類支持向量機算法用於對聯合多模式特徵包的編碼LRR進行分類。我們在大豆種子圖像數據集上驗證了JMBoF分類算法。所提出的方法大大優於文獻中最先進的單峰袋特徵方法,它可能在將來成為收穫後幹大豆種子分類程序中的一項重要且有價值的技術。

介紹

大豆它富含氨基酸,維生素,礦物質和脂肪,是濃縮蛋白和植物油的最重要來源。

大豆種子質量可以以幾種方式來測量

  • 包括拉曼光譜
  • 近紅外光譜
  • 太赫茲光譜
  • 高效液相色譜法-質譜法
  • 毛細管電泳質譜法
  • 掃描型電子顯微鏡
  • 核磁共振技術

通過測量大豆種子的化學和營養成分,這些技術可用於區分質量。

這些方法的缺點在於,它耗時且需要複雜的實驗預處理,並且不適合檢測外觀參數。大豆種子產品的品質因數,價格和適銷性直接受到外觀質量的影響。此外,有缺陷的大豆種子經常引起疾病,無法長成健康的植物。大豆及其製品的精細加工和儲存的第一步重要步驟是篩選外觀不佳的種子樣品。可以使用人和機器視覺技術根據大豆種子的外觀對種子進行分級。基於人類視覺的分級方法非常耗時,分離大量種子的速度和效率較低。與其他檢測和分析技術相比,基於機器視覺的技術具有無損,低成本,高精度和高效率的特點,因此在食品外觀質量評估中備受關注。

近年來,提出了幾種基於機器視覺和機器學習技術的人工智能系統,用於檢測和判別大豆種子的質量。例如,Ahmad 等。進行了基於知識領域的實驗,使用顏色信息對無症狀和有症狀的大豆種子進行了分類16。Shatadal&Tan訓練了使用RGB顏色特徵的前饋神經網絡,將大豆種子分類為有聲,受綠霜破壞和發臭蟲破壞的類別。

提取L * a * b *顏色特徵,能量,熵和對比度的三個紋理特徵以及周長,面積,圓度,伸長率,緊密度,偏心率,橢圓軸比和等效直徑的八個形狀特徵作為BP人工神經網絡的輸入網絡並建立一個三層分類器,以對六個類別進行分類-黴變,蟲害,破碎,皮膚損壞,部分偵探和正常大豆粒18。

這些先前的方法使用顏色,形態和質地的整體視覺特徵來描述大豆種子。全局特徵通常包含大量無效的背景信息,並且使用它們很容易掩蓋局部詳細信息。無效特徵的引入和有效詳細判別信息的丟失將不可避免地影響分類模型的性能,從而影響最終識別的準確性。有缺陷的大豆種子特徵經常出現在局部圖像中,即使在較小的局部範圍內也是如此。與使用全局特徵描述有缺陷的大豆種子相比,有效的局部圖像特徵可以用作區分大豆種子質量的關鍵手段。

近年來,基於特徵包模型的低水平局部視覺特徵表示的最新技術在對象識別中顯示出巨大的潛力。從文檔分析方法派生的BOF方法將低級本地圖像特徵轉換為視覺單詞特徵,以表示圖像屬性。

過去算法中有使用密集尺度不變特徵的BoF來代表小麥籽粒品種或引入了一種支持向量機(SVM)分類器,用於基於尺度不變特徵變換(SIFT)BoF視覺詞彙對四種重要的南方蔬菜害蟲進行分類20。

上述研究僅使用了一種BoF視覺詞典,難以充分表達複雜的農業對象。Abozar Nasirahmadi 等。提出了一個特徵模型袋,該模型加入了Harris,Harriese-Laplace,Hessian,Hessian-Laplace和最大穩定的極值區域關鍵點檢測器,以及用於對甜和苦杏仁品種進行分類的尺度不變特徵變換描述符。儘管已經實施了幾種局部特徵算法來改善農產品質量檢測系統的性能,但是針對大豆種子檢測質量的研究很少。

在本文中,作者們打算使用基於BoF的算法來驗證大豆種子圖像分類的效果。此外,多個特徵的簡單組合將不可避免地導致特徵的冗餘以代表圖像,並在一定程度上影響特徵識別的最終過程中分類器的性能。為了進一步提高智能識別系統的性能,提出了一種低秩表示(LRR)算法在子空間中長而獨特的特徵中找到最低等級的表示。該方法可以通過在低秩子空間中生成新的低維描述符來有機地合併語義詞典的不同類別,並消除不相關的語義詞典信息在該空間中的影響。

本研究的目的是利用聯合多模式BoF(JMBoF)分類框架的低級表示形式,準確,無損且快速地確定大豆種子的質量。本文的其餘部分安排如下:首先,介紹了用於捕獲圖像的實驗材料和設備。其次,介紹了與JMBoF相關的大豆乾品質檢測方法。

實驗

實驗材料

用於實驗的大豆種子購自當地市場。

有10種子葉缺乏,物理損壞,自然破裂,種皮損傷,塗層的乾癟,子葉萎縮性,蠕蟲咬傷,種皮,腐朽,子葉發黴和異形缺陷大豆種子的樣品(參見下圖 ):

基於機器視覺技術快速準確地確定收穫後幹大豆種子的品質

將大豆種子外觀質量不同的圖像用於分類研究。左側顯示了兩個好的大豆種子樣本圖像(a1,a2)。(b1)子葉缺失,(b2)物理損壞,(b3)自然裂開,(b4)睪丸受損,(b5)殼剝皮,(b6)子葉萎縮,(b7)蠕蟲咬傷,(b8)種皮腐爛,(b9)子葉黴菌和(b10)異形大豆種子圖像顯示在右側。

物理損壞是指在對種子仁進行物理或機械擠壓後將種皮和子葉分裂。子葉缺乏,物理損壞,自然破裂和種皮受損的種子仁如果沒有最外層的保護,則長期保存後容易發黴。嚴重脫殼和子葉萎縮的種子粒被認為營養不良,從而影響人類健康和相關產品質量。食入蠕蟲叮咬,已腐爛的子葉,子葉型和異形種子會損害人類和動物的健康。因此,就大豆種子的外觀特徵而言,對大豆種子進行分級是必要且重要的。在此實驗中,我們嘗試自動區分三個等級的商品,就外觀質量而言,是中等和不健康的大豆種子。

優質大豆種子包含約8%的種皮,90%的子葉和2%的胚軸(包括羽狀,下胚軸和胚根),良好的外觀特徵表明種皮完整且光滑,子葉飽滿,這將有利於人類和動物的健康。中等的表明種皮破裂,子葉破裂或子葉略微 riv縮,但這並不損害人類和動物的健康;不健康的現象表明種皮或子葉嚴重萎縮,子葉萎縮,蟲咬,睪丸腐爛,子葉變質或異形,食用後會損害人類和動物的健康,有843個大豆種子用於測試。每種類型都有281個樣本。訓練集包含70%隨機選擇的樣本,其餘30%用於測試目的。



實驗裝置

視覺光譜成像設備(Perfection V850 Pro,美國愛普生)用於捕獲大豆種子的圖像。

成像系統的主要部分包括黑色吸收罩,透明平板玻璃板,電機驅動的移位電子平臺,電荷耦合成像設備(CCD),通信電纜和計算機。將每個大豆樣品以相等的間隔放置在透明玻璃板上。然後將黑色吸收蓋水平放置在樣品上方作為圖像背景。

馬達驅動的變速平臺帶有變速線性光和變速鏡。移動的線性光源通過透明的平板玻璃板將線性光束髮射到樣品表面。樣品將光束反射到移動鏡,然後來自移動鏡的光束被反射到固定鏡。

最後,CCD收集從固定鏡反射的線性樣本光譜。與傳統的相機拍攝技術相比,馬達驅動的移位電子拍攝平臺拍攝照片可以確保照片中任何位置的每個大豆種子都是均勻的。成像設備固定在封閉的黑盒子中,該盒子可以阻擋外部光線的影響。通信電纜用於通過內部成像設備與外部計算機連接。

每張原始捕獲的照片包含20個內核,其中每個內核映像都會自動分離並存儲到磁盤中。與傳統的相機拍攝技術相比,馬達驅動的移位電子拍攝平臺拍攝照片可以確保照片中任何位置的每個大豆種子都是均勻的。成像設備固定在封閉的黑盒子中,該盒子可以阻擋外部光線的影響。通信電纜用於通過內部成像設備與外部計算機連接。每張原始捕獲的照片包含20個內核,其中每個內核映像都會自動分離並存儲到磁盤中。與傳統的相機拍攝技術相比,馬達驅動的移位電子拍攝平臺拍攝照片可以確保照片中任何位置的每個大豆種子都是均勻的。成像設備固定在封閉的黑盒子中,該盒子可以阻擋外部光線的影響。通信電纜用於通過內部成像設備與外部計算機連接,每張原始捕獲的照片包含20個內核,其中每個內核映像都會自動分離並存儲到磁盤中。

方法

色彩空間轉換

L * a * b *是國際照明委員會(CIE)25指定的色彩空間,其中L *代表亮度,a *和b *分別代表綠紅色和藍黃色顏色分量。L * a * b *顏色空間不僅包含RGB顏色空間的所有色域,而且表示RGB無法做到的部分顏色空間。RGB顏色空間不能直接傳輸到L * a * b *顏色空間。完成轉換需要兩個步驟。首先必須將RGB顏色空間轉換為特定的CIE XYZ顏色空間26,

基於機器視覺技術快速準確地確定收穫後幹大豆種子的品質

相對於XYZ空間的參考白點(X n,Y n,Z n)的三刺激值,進一步定義了L * a * b *顏色空間:

基於機器視覺技術快速準確地確定收穫後幹大豆種子的品質

哪裡,

基於機器視覺技術快速準確地確定收穫後幹大豆種子的品質

從RGB到L * a * b *的顏色空間轉換的示例如下圖所示 :

基於機器視覺技術快速準確地確定收穫後幹大豆種子的品質

從RGB到CIE L * a * b *的色彩空間轉換,可以輕鬆量化顏色之間的視覺差異。(a)將大豆種子的RGB圖像分解為(b1)紅色,(b2)綠色和(b3)藍色分量,並轉換為(c1)L *,(c2)a *和(c3)b *顏色通道。

SURF特徵空間描述符

SURF是Bay 27引入的一種成功的特徵檢測算法。目的是定義圖像的唯一且健壯的空間描述符。該算法包括以下三個主要步驟:

基於機器視覺技術快速準確地確定收穫後幹大豆種子的品質

一個示例顯示了檢測到的(a)興趣點:由圓心顯示的位置,由圓心的綠色半徑顯示的比例,由半徑方向顯示的主導方向以及由圓環顏色定義的類別。即,黃色背景為深色(紅色虛線圓圈)或深色區域旁邊為黃色(藍色實心圓圈);(b)由Haar小波響應在12×12規則平方的採樣點處計算得到的圖像梯度;(c)在水平和垂直方向上Haar小波響應的3×3平方區域中,通過計算的矢量和計算出4×4個子區域描述符,這與綠色箭頭和(d)來自強度結構4×4子區域的串聯64維梯度相關特徵描述符。

  • (1)檢測興趣點(參見圖 (a))。它利用了Hessian Blob檢測器行列式的整數近似,該整數近似可以通過三個預定義的積分算符來計算。它的特徵描述符基於感興趣點周圍的Haar小波響應之和。特徵區域的類別可以由拉普拉斯算子(即,黑森矩陣的跡線)28的符號(由-1和+1表示)確定。
  • (2)獲取子區域中的梯度信息。感興趣的區域被分成與選定方向對齊的較小的4×4平方子區域(請參見圖 (c)),並且對於每個子區域,均在3×3個規則間隔的採樣點處提取Haar小波響應(請參見圖3B)。 3(b))。響應乘以高斯增益,以抵抗變形,噪聲和平移。
  • (3)生成特徵空間描述符。來自強度結構每個4×4局部鄰域子區域的串聯64維梯度相關特徵描述符從每個檢測到的興趣點形成特徵空間描述符(見圖 3(d))。(∑ dXķ,Σ dÿķ,∑ | dXķ| ,∑ | dÿķ| )

特色模型袋

BoF是一種適用於文檔分類領域中的圖像分類的技術。而不是像文檔分類那樣使用實際的單詞。使用BoF算法使用圖像特徵等,其最終組合為視覺詞典表示圖像的視覺詞。

為此,它包括以下兩個主要步驟:

  • (1)提取具有獨立特徵的“包”。在這項研究中,我們提取了L * a * b *顏色特徵和SURF特徵的兩個特徵袋,其中L * a * b *顏色特徵由16×16子區域內平均顏色分量的兩部分組成提取圖像中的圖像和相應的空間座標。
  • (2)生成可視詞典。執行k均值聚類方法以聚類在步驟1中獲得的特徵向量。聚類中心定義為可視單詞。收集所有視覺單詞以生成視覺詞典。聚類中心的數量是可視詞典的大小。因此,將低級圖像特徵量化為高級語義信息,以通過視覺單詞的分佈來表達圖像內容。

聯合低階特徵表示

在上述的BoF方法中,視覺詞典的大小將影響視覺單詞構成的特徵對圖像內容的可解釋性:小尺寸詞典可能無法完全描述圖像特徵,太大的詞典可能會導致多餘的語義表達。

此外,SURF和L * a * b *的新聯合模態特徵將使字典的維數成倍增加,這將進一步增加特徵的冗餘語義表示,為了解決這個問題,我們首先通過設置大量的字典(數量= 800)來從圖像中提取大尺寸的視覺詞典,然後使用LRR方法消除多餘的語義信息來有效地表達圖像內容。LRR假設高維數據Y具有較低的固有維數。為了減輕維數的問題,原始Y可以分為低秩矩陣X和稀疏誤差矩陣E的兩個分量:

基於機器視覺技術快速準確地確定收穫後幹大豆種子的品質

其中,表示核規範,表示L 1-範數,而λ是正則化參數。上述優化問題本質上是在低維子空間中找到高維數據的最佳投影。除去殘留後ë,緊湊的視覺詞典組X將被用作原始圖像的有效表達22,23。| |⋅| |∗| |⋅| |1個

支持向量機迴歸

支持向量機的算法30,31是用於在該空間中的輸入空間轉換成通過非線性變換一個高維的Hilbert空間,然後執行線性分類。SVM方法針對給定的點N假設一組訓練數據Λ :

基於機器視覺技術快速準確地確定收穫後幹大豆種子的品質

其中預測值y i對應於自變量x i。SVM方法使用核函數φ將自變量x投影到高維特徵空間中,以建立線性擬合函數。可以通過解決以下優化問題來建立方程:

基於機器視覺技術快速準確地確定收穫後幹大豆種子的品質

其中,ω是與模型的複雜性有關的超平面的法向矢量;λ是可調參數,是鬆弛變量。

統計分析

所述ķ倍交叉驗證技術31是用來評估所建立的模型的穩健性,用於快速並準確地確定收穫後乾燥的大豆種子質量。將訓練大豆樣品分為k個相等大小的子樣品,其中k等於訓練大豆樣品的數量。其中一個的ķ大豆樣品被選擇為未知驗證數據和其餘ķ  - 1個大豆子樣本被用於訓練目的。每個分割的k  -1個大豆子樣本數據將被精確訓練一次,以預測未用於估算的其餘數據。驗證結果是對k的平均值 次以評估擬合模型的分類性能。

算法概述

用於確定大豆種子質量的JMBoF分類框架的示意圖如下圖圖所示 。

基於機器視覺技術快速準確地確定收穫後幹大豆種子的品質

實現我們的大豆類別分類算法的步驟如下

  • (1)在圖像的16×16子區域內提取L * a * b *顏色分量,並在提取圖像的圖像中提取相應的空間座標。
  • (2)從大豆圖像數據集中提取SURF特徵。
  • (3)將BoF算法應用於通過使用K均值聚類對特徵空間進行量化來減少特徵數量,從而分別構建L * a * b *-和SURF相關的視覺詞典;
  • (4)通過串聯L * a * b *-和SURF相關的視覺詞典來形成混合語義信息。
  • (5)使用LRR方法將乘法維可視詞典投影到低級空間,以消除冗餘的語義信息。
  • (6)執行SVM算法以在高維內核空間中構造分裂超平面,以將聯合LRR數據分為三類。

結果與討論

顏色特徵評估

如下圖所示 :

基於機器視覺技術快速準確地確定收穫後幹大豆種子的品質

使用SURF算法比較(a)良好和(b)缺陷大豆種子圖像的興趣點分佈。檢測到的特徵點主要分佈在大豆圖像的邊緣以及裂紋(在位置A)和皺縮(在位置B)區域。特徵點區域用藍色實線(Laplacian = -1)或紅色虛線((Laplacian = +1))圓標記。綠色半徑表示主要方向。每個特徵點均已編號。

三種大豆種子仁的外觀顏色特性互不相同。子葉暴露大豆的暴露黃色比好大豆 更亮。天然裂解大豆的子葉表面顏色稍微更白和更暗。其他不健康豆的圖像與其他顏色特徵混合在一起。因此,可以採用顏色特徵來區分大豆種子的質量。

通過使用定製的成像設備,以RGB顏色格式存儲收集的原始大豆圖像數據。RGB顏色模型取決於設備,該模型最初旨在對物理顯示器或數據採集設備的輸出進行建模。大豆種子的圖像分類實際上是基於人類對大豆種子顏色特徵的視覺綜合感知。L * a * b *顏色空間模仿了眼睛的非線性響應。它可以保留大豆種子圖像色彩特徵的廣泛色域。可以在L * a * b *顏色模型中發現人眼可以感知的所有顏色。

L * a * b *顏色空間中顏色特徵的分佈比RGB更均勻。RGB顏色空間包含過多的藍色和綠色之間的過渡顏色,而缺少黃色和綠色和紅色之間的其他顏色。RGB顏色空間的各個分量之間的強度值差異很小,因此RGB大豆圖像的三個分量的視覺感知極為接近。從RGB到L * a * b *的色彩空間轉換後,L * a * b *色彩空間的分量在三個不同的色彩通道之間具有顯著差異,因此顯示三種極為不同的視覺感知效果圖像。

它使算法能夠輕鬆量化顏色之間的視覺差異,因為它與歐氏空間結構更加一致。轉換後的可區分特徵更適合於基於k均值32的後續顏色字典生成過程。為了更準確地表達大豆種子仁圖像的顏色特徵,我們將RGB顏色描述符轉換為CIEL * a * b *。

SURF功能評估

SURF算法可以通過測量圖像的主導方向來估計放置角度。大豆籽粒可任意放置在成像面板中,但是,提取的有效特徵不受放置角度的影響,因為SURF特徵對於圖像旋轉是不變的。通過SURF算法檢測出總共60個特徵點。檢測到的特徵點主要分佈在大豆圖像的邊緣。特徵點的類別對應於Laplacian 27的符號。在外部邊緣檢測到的拉普拉斯算子為-1,並用藍色實心圓標記;內側邊緣處的拉普拉斯算子為+1,並用紅色虛線圓圈標記;每個特徵點均已編號。綠色半徑表示主要方向。主導方向與特徵區域有關。圍繞內邊緣區域和外邊緣區域的主導方向垂直於大豆輪廓的切線方向。優質大豆仁的表面顏色相對光滑且均勻,因此梯度變化相對較小,而邊緣區域周圍的顏色變化明顯,因此邊緣處的梯度變化相對於內部平滑區域更大。

SURF算法主要基於梯度算法,通過SURF算法檢測出總共62個特徵點。每個特徵點均已編號。所檢測到的特徵點主要分佈在邊緣,開裂和皺縮大豆仁的面積。在邊緣的外部檢測到的拉普拉斯算子為-1,用藍色實心圓標記;內側邊緣上的拉普拉斯算子為+1,並用紅色虛線圓圈標記;檢測中心的裂紋區域的拉普拉斯算子為1,並用紅色虛線圓圈標記;檢測中心在收縮區域的拉普拉斯值+1,並用紅色虛線圓圈標記。在破裂和收縮的區域中,主要方向分別近似垂直於破裂和收縮的方向。相對於黃色背景區域,在裂紋和皺縮區域的位置處形成了較暗的圖像區域,因此在這些位置處邊緣處的梯度變化相對較大。SURF方法主要基於梯度算法,因此這些特徵位置顯而易見。在檢測到的破裂和皺縮區域的梯度相關信息可以用作估計大豆品質的區別特徵。

聯合多模式特徵評估

混淆矩陣圖用於總結和可視化提出的JMBoF + SVM算法的性能結果。如圖所示 ,行表示混淆矩陣,表示預測結果,列表示實際結果。正確的分類結果顯示在綠色對角線單元上。對於訓練集,正確地分別將197、179和189個對象標識為好,中和不健康的大豆。這些分別對應於所有591個訓練大豆實例的33.3%,30.3%和32.0%。同樣,對於測試集,分別將84、53和70個對象正確分類為好,中和不健康的實例。這些分別對應於所有252張測試大豆圖像中的33.3%,21.0%和27.8%。紅色非對角線元素顯示模型做出錯誤預測的位置。

基於機器視覺技術快速準確地確定收穫後幹大豆種子的品質

通過使用混淆矩陣圖形在訓練(a)和測試(b)數據集上使用JMBoF + SVM模型在外觀質量上區分3種優質,中度和不良大豆種子的分類結果摘要。

對於訓練集,將5箇中度物種和1個不健康物種錯誤地分類為好物種,分別為0.8%和0。在所有591個良好實例中,分別佔2%。7個不健康的物種被誤認為是中度物種,佔所有591個良好實例的1.2%。13箇中度物種被錯誤地歸類為不健康物種,佔所有591個良好實例的2.2%。同樣,對於測試集,將5箇中等和1個不健康的物種錯誤地歸類為好物種,分別相當於所有252個大豆實例的2.0%和0.4%。13個不健康的物種被錯誤地歸類為中度樣本,相當於所有252個大豆實例中的5.2%。26種中度種被錯誤地歸類為不健康種,佔所有252種大豆實例的10.3%。在203個好的預測中,有97.0%是正確的,而3.0%是錯誤的。在186箇中等預測中,有96個。2%是正確的,而3.8%是錯誤的。在202個不健康的預測中,正確的預測為93.6%,錯誤的預測為6.4%。在197個好案例中,所有案例都被正確地預測為好物種。在197箇中度病例中,有90.9%被正確分類為中度物種,而9.1%被分類為良好和不健康物種。在197個不健康的病例中,有95.9%被正確歸類為不健康,而4.1%被歸類為良好和中度物種。同樣,對於測試集,在90個好的預測中,有93.3%是正確的,而6.7%是錯誤的。在66箇中等預測中,有80.3%是正確的,而19.7%是錯誤的。在96個不健康的預測中,正確的預測為72.9%,錯誤的預測為27.1%。在84個好的案例中,所有案例都被正確地預測為好的物種。在84例中度病例中,有63.1%被正確分類為中度和36例。9%被歸類為良好和不健康。在84個不健康的病例中,正確分類為不健康的佔83.3%,良好和中度的佔16.7%。總體而言,大豆訓練和測試集分別有95.9%和82.1%的預測是正確的,而4.4%和17.9%的預測是錯誤的。

比較算法性能

精確召回(PR)曲線用於可視化評估分類器性能。精度表示真實肯定率,而召回率則表示相對於所有肯定預測34而言真實肯定的概率。

基於機器視覺技術快速準確地確定收穫後幹大豆種子的品質

使用RGB + BoF + SVM,HSI + BoF + SVM,L * a * b * + BoF + SVM,SURF的方法在外觀質量上區分三種優質,中度和不良大豆種子的精確召回曲線在訓練(a)和測試(b)數據集上分別使用+ BoF + SVM和JMBoF + SVM 。

上圖顯示了在不同閾值的精度和召回率之間的權衡,即召回率隨著精度下降而增加的趨勢。

顯然,在不同的情況下,JMBoF + SVM模型基本上比RGB + BoF + SVM,HSI + BoF + SVM,L * a * b * + BoF + SVM和SURF + BoF + SVM模型擁有更高的準確率百分比。召回門檻。平均平均精度(mAP)分數是精度調用曲線下的面積35可以用作算法性能的綜合評估。JMBoF + SVM模型分別在訓練和測試大豆圖像數據集上產生的最高mAP分數分別為0.973和0.918,並且優於RGB + BoF + SVM的0.904和0.787,HSI + BoF + SVM的0.905和0.791,L * a * b * + BoF + SVM為0.914和0.811,SURF + BoF + SVM為0.962和0.893。

基於機器視覺技術快速準確地確定收穫後幹大豆種子的品質

表中使用RGB + BoF + SVM,HSI + BoF + SVM,L * a * b * +對3種優質,中度和不良健康大豆種子的外觀質量進行分級的準確性和平均平均精度(mAP)得分BoF + SVM,SURF + BoF + SVM和JMBoF + SVM模型分別在訓練和測試數據集上。

RGB + BoF + SVM模型的精度為78.1%和62.8%,HSI + BoF + SVM模型的精度為80.3%和59.6%,L * a * b * + BoF + SVM模型的結果在訓練和測試大豆圖像數據集上的準確度分別為80.4%和63.1%。

基於L * a * b *的單峰算法優於其他兩個算法,可能是因為可以在L * a * b *顏色空間中突出顯示大豆樣品的幾種可辨別的顏色特徵,基於顏色的單峰方法主要根據外觀的總體特徵區分大豆類別,有缺陷的大豆的受損部分有時會佔據大豆表面的一小部分。

相應的提取特徵在整個特徵向量中也佔很小的比例,這將導致在隨後的分類過程中忽略了所識別的信息,因此生成的識別率較低。與基RGB,HSI和L * a * b *的全局顏色模型不同,SURF + BoF + SVM模型不會應用來自大豆圖像的全局顏色信息。它試圖檢測潛在的特徵點,並從感興趣區域構造基於梯度的描述符。這些特徵點主要分佈在大豆核的邊緣和缺陷部位。由於獲得了有效的區分特徵,SURF + BoF + SVM模型提高了分類精度,比訓練和測試大豆圖像數據集上的L * a * b * + BoF + SVM模型分別高9.4%和15.1%。但是,此方法的一個潛在缺點是有缺陷的補丁和完整補丁與全局圖像結構之間的關係會被忽略。這可以通過從整個圖像中採樣全局L * a * b *特徵來部分補償。JMBoF + SVM模型利用了基於局部興趣區域梯度的特徵和全局顏色特徵信息來進一步提高分類準確性。L * a * b * + BoF + SVM模型在訓練和測試大豆圖像數據集上的分類精度最高,達到95.6%和82.1%,分別為5.7%和3。

結論



本文首先對外觀色特性進行了評估,以對大豆種子仁進行分類。RGB大豆圖像的三個組成部分的視覺感知極為接近。從RGB到L * a * b *的色彩空間轉換後,L * a * b *色彩空間的分量顯示出三個不同色彩通道之間的明顯視覺差異。視覺感知效果的圖像類型極為不同,因此可以輕鬆地形成鮮明的特徵。SURF功能不變於圖像旋轉。SURF算法可以通過不測量圖像的主導方向來估計放置角度。儘管將大豆粒任意放置在成像面板中,但提取的有效特徵不受放置角度的影響。主導方向與特徵區域有關。圍繞內邊緣區域和外邊緣區域的主導方向垂直於大豆輪廓的切線方向。在破裂和收縮的區域中,主要方向分別近似垂直於破裂和收縮的方向。邊緣處的梯度變化相對於內部平滑區域較大,並且相對於黃色背景區域,在裂紋和皺縮區域的位置處形成的圖像區域較暗,因此在這些位置處,邊緣處的梯度變化相對較大。SURF方法主要基於梯度算法,因此這些特徵位置顯而易見。主方向分別近似垂直於裂紋和收縮的方向。邊緣處的梯度變化相對於內部平滑區域較大,並且相對於黃色背景區域,在裂紋和皺縮區域的位置處形成的圖像區域較暗,因此在這些位置處,邊緣處的梯度變化相對較大。SURF方法主要基於梯度算法,因此這些特徵位置顯而易見。主方向分別近似垂直於裂紋和收縮的方向。邊緣處的梯度變化相對於內部平滑區域較大,並且相對於黃色背景區域,在裂紋和皺縮區域的位置處形成的圖像區域較暗,因此在這些位置處,邊緣處的梯度變化相對較大。SURF方法主要基於梯度算法,因此這些特徵位置顯而易見。

將RGB + BoF + SVM,HSI + BoF + SVM,L * a * b * + BoF + SVM,SURF + BoF + SVM和JMBoF + SVM的五種不同算法應用於大豆品質分類。JMBoF + SVM的基於多模式的方法優於其他四種基於單模式的算法,這可能是因為JMBoF + SVM模型綜合利用了全局顏色特徵和基於局部興趣區域梯度的特徵(SURF)信息。在訓練和測試大豆圖像數據集上,JMBoF + SVM模型分別具有最高95.6%和82.1%的準確性。所提出的算法有可能被應用到智能自動大豆分級機中,以準確,無損,快速地篩選出不良籽粒。


分享到:


相關文章: