植物結構如株高、葉片或分支角度、葉片大小以及節(jié)間長度等,影響著對光的截留,從而影響植物光合作用與生產力。植物結構的變化可以反映植物面臨的脅迫情況,例如節(jié)間長度的變化與干旱、鹽脅迫有關。簡單的表型性狀可以從2D圖像中測量,但節(jié)間長度、分支角度等復雜性狀則需要使用3D數據。
本研究以黃瓜為例(含彎曲株和直立株),基于激光三角測量,使用Phenospex PlantEye F500采集了10天的3D數據,該多光譜3D掃描儀還為點云中的每個點提供了光譜信息。同時,每天多次采集2D圖像,獲得一個包含9990張圖像的數據集?;赮OLO-v3深度學習對象檢測算法在單個2D圖像中檢測節(jié)點,使用親和力傳播聚類算法對同一節(jié)點的多次檢測進行合并,獲得每個節(jié)點只出現一次的節(jié)點位置列表并按照在莖上的位置進行排序以估計2D節(jié)間長度(節(jié)間長度為兩個連續(xù)節(jié)點之間的歐氏距離)。從3D點云估計節(jié)間長度的方法分為三個步驟:(1)基于深度神經網絡 PointNet++將 3D 點云分割成植物部分;(2)從分割的點云中檢測節(jié)點,使用HDBSCAN聚類算法對節(jié)點進行聚類;(3)節(jié)間長度估計。結果顯示,使用3D點云代替2D圖像,可以以與直立植株相同的精度來估計彎曲植株的節(jié)間長度;從3D點云估計的節(jié)間長度誤差小于從2D圖像估計的節(jié)間長度誤差,使用3D 點云估計節(jié)間長度的精度更高。但基于2D圖像的節(jié)點檢出率更高,因此建議綜合利用2D圖像和3D點云的優(yōu)勢。總之,本研究證實了基于3D點云與計算機視覺技術結合進行植物結構尤其是節(jié)間長度測量的可行性。
圖1 黃瓜植株三個節(jié)點示意圖,含兩個節(jié)間。
圖2 實驗裝置示意圖。植株生長在2個植物水槽( A、B)上,每個水槽含6株植物( 1 ~ 6株)。將彎曲植株A2、A3和B5分別稱為離群植株4、5和8。六個視點(Ⅰ-Ⅵ)在圖的右上角部分放大顯示。
圖5 數據獲取的第一天(左)和最后一天(右)人工標注點云的實例。圖中顏色代表圖例中指定的類別,黑色方塊表示點云的放大部分。
圖9 人工測量的節(jié)點間長度(x軸)與估計的節(jié)點間長度(y軸)擬合圖。左圖為基于2D的結果,右圖為基于3D點云的結果。直立植株的節(jié)點用藍色圓圈表示,彎曲植株的節(jié)點用紅色三角形表示。虛線表示函數x = y,表示估計的節(jié)點間長度等于人工測量值的位置。
圖10 基于2D和3D數據預測直立和彎曲植株節(jié)間長度的絕對誤差( mm )。框表示下四分位數和上四分位數,須表示1.5倍四分位數間距內的最高和最低絕對誤差。超出此范圍的值被認為是異常值,并顯示為“+”。顯著性水平 “n.s. ”表示沒有觀察到顯著性差異, “***”表示在p < 0.001的情況下觀察到顯著性差異。
文獻來源:Frans P B, Eldert J, Gert K. The added value of 3D point clouds for digital plant phenotyping –A case study on internode length measurements in cucumber. Biosystems Engineering, 2023, 234:1-12.