最高可挽回20%損失！東京大學用AI及無人機預測農(nóng)作物最佳采收期

內(nèi)容一覽：如果能在短期內(nèi)確定并預測田間所有作物的生長狀況，就可以設定最佳采收日期，減少非標準尺寸作物的數(shù)量，并最大限度地減少收入損失。對此，來自東京大學和千葉大學的研究人員，給出了 AI + 無人機解決方案。

關(guān)鍵詞：農(nóng)業(yè) 無人機 遙感影像

作者 | 李寶珠

編輯 | 三羊、雪菜

春耕夏耘，秋收冬藏，四者不失時，故五谷不絕而百姓有馀食也。

長久以來，人們遵循歷年傳承的經(jīng)驗辛勤耕種，并根據(jù)普遍成熟周期收割農(nóng)作物，但由于生長情況不同，在收獲時，農(nóng)作物的質(zhì)量、大小、成熟度不可避免地存在些許差異，統(tǒng)一的機械化采收會浪費很多并沒有達到售賣或食用標準的作物，從而導致利潤降低。所以，采收日期對于未達標農(nóng)作物的比例以及農(nóng)戶的最終總收入至關(guān)重要。

隨著無人機飛向田間地頭，人們也開始探索基于無人機航拍圖像數(shù)據(jù)，預測最佳采收日期。來自東京大學和千葉大學的研究人員開發(fā)了一套利用無人機采集植物表型數(shù)據(jù)的系統(tǒng)化流程，基于無人機遙感和圖像分析，預測每個西蘭花頭的大小，并將數(shù)據(jù)輸入基于溫度的生長模型中，從而預測最佳的采收日期。

經(jīng)過兩年的實地應用實驗，該系統(tǒng)高精度地預估了西蘭花頭的大小，并基于相關(guān)數(shù)據(jù)成功預測出了最佳采收日期，可減少耕種損失并提高利潤。目前，相關(guān)成果已經(jīng)發(fā)表于「Plant Phenomics」。

這一成果已發(fā)表于「Plant Phenomics」

論文鏈接：

https://spj.science.org/doi/10.34133/plantphenomics.0086#body-ref-B4

01 生長模型+價格數(shù)據(jù)：6 個步驟生成利潤預測模型

研究團隊以西蘭花為例，通過無人機獲取西蘭花生長期內(nèi)，所有西蘭花頭不同時段的頭部大小信息（幾何特征），然后在頭部大小和溫度數(shù)據(jù)之間建立一個簡單的生長模型，并將其與通過市場調(diào)查獲得的價格數(shù)據(jù)相結(jié)合，建立最佳收獲日期的利潤預測模型。

該方法主要包含 6 個關(guān)鍵步驟

步驟 1：無人機航拍 (Drone Flight) 得到原始圖像

* 實驗時間：2020 年至 2021 年

* 實驗地點：日本東京可持續(xù)農(nóng)業(yè)生態(tài)系統(tǒng)服務研究所 (ISAS) 實驗農(nóng)場

* 航拍設備：大疆 DJI Mavic 2 Pro 和 DJI Phantom 4 RTK

* 圖像數(shù)據(jù)：224 GB（2020 年）+ 72 GB（2021 年）

大疆精靈 4 RTK，圖源：大疆官網(wǎng)

步驟 2：航拍圖像預處理 (Photogrammetry)

研究人員使用專業(yè)無人機圖像處理軟件 Pix4DMapper Pro，測量無人機拍攝圖像，并通過 3D 重建對圖像數(shù)據(jù)進行預處理。使用默認軟件參數(shù)，生成了數(shù)字正射地圖 (DOM) 和數(shù)字表面模型 (DSM)。

用于 3D 重建的計算機配置如下：

Intel i9-7980XE CPU 2.6GHz，64GB RAM，2 塊 NVIDIA GeForce GTX 1080Ti GPU

步驟 3：西蘭花育苗位置檢測 (Seedling detection)

檢測算法：YOLO v5，NMS 算法

注：NMS 算法全稱 nonmaximum suppression，非極大值抑制算法

在幼苗階段，研究人員使用 YOLO v5 進行了西蘭花頭位置檢測，并利用 NMS 算法來合并緩沖區(qū)域內(nèi)的重復檢測結(jié)果。

然后，將邊界框的中心點視為西蘭花的位置，在開源地理信息系統(tǒng) Quantum GIS 中手動檢查、調(diào)整檢測結(jié)果，確保沒有遺漏或重復的檢測。

西蘭花育苗檢測工作流程

步驟4：西蘭花頭分割 (Head segmentation)

分割模型：BiSeNet v2

西蘭花頭分割工作流程

在實驗過程中，為減輕深度學習數(shù)據(jù)標注和處理的工作負擔，消除部分土壤和雜草的影響，研究人員以時間序列數(shù)據(jù)融合為指導，縮小了處理區(qū)域，僅使用幼苗周圍的正方形區(qū)域（約 100 × 100 像素，略大于西蘭花頭）進行西蘭花頭分割。

此外，研究人員還利用交互式標注減少了數(shù)據(jù)標注的工作量。

注：交互式標注 interactive annotation，是指使用一種智能的、基于算法的方法，來選擇標注樣本，以最大限度地提高深度學習模型性能，并降低標注成本。

研究人員使用圖像標注開源工具 LabelMe，手動標記少量初始訓練數(shù)據(jù)，并據(jù)此進行分割模型的訓練。然后隨機選擇圖像并應用于分割結(jié)果，利用 Python 腳本將這些結(jié)果轉(zhuǎn)換為 LabelMe JSON 格式，手動調(diào)整新訓練數(shù)據(jù)的標注。

持續(xù)重復這一過程，直到分割結(jié)果無需調(diào)整為止。

步驟 5：生成生長模型，預測西蘭花頭尺寸 (Size calculation)

預測模型：非線性回歸模型用于預測隨時間變化的西蘭花頭長度 (HD)

T 為日平均氣溫之和，下限為 0 ℃，上限為 20 ℃

a、b 和 c 是要確定的參數(shù)

步驟6：生成利潤預測模型

根據(jù)市場價格調(diào)查，結(jié)合生長模型生成利潤預測模型。

02 兩年田間實驗，分割模型表現(xiàn)優(yōu)異

在準備訓練數(shù)據(jù)時，考慮到綠色的西蘭花植株和褐色土壤之間的明顯差異，研究人員只選擇了 2 個代表性的扇區(qū)作為訓練圖像。

2020 年西蘭花幼苗位置檢測實例 (A-F)

通過交互式標注的頭部分割實例 (G-I)

作為啟動數(shù)據(jù)訓練，研究人員從 2020 年的航拍圖像中隨機選擇了一張，并對其中約 5 個西蘭花頭進行了盡可能簡單的標注，如上圖 G-I 所示，并用這些注釋訓練了 BiSeNet 模型 (v0)。

隨后，v0 模型被應用于每次航測中隨機選擇的圖像，研究人員再手動調(diào)整分析結(jié)果，并保存為 v1 模型的新訓練數(shù)據(jù)。重復迭代這一步驟，直到模型取得更好的分割結(jié)果，從而形成了 v2 模型。

而經(jīng)過 4 次迭代后，模型性能大大提高，達到了 88.33 % 的中間 IoU (Intersection over Union) 。

此外，為了驗證無人機測量 HD 的準確性，研究人員將結(jié)果與現(xiàn)場人工測量數(shù)據(jù)進行了比較。

無人機測量數(shù)據(jù)與手動現(xiàn)場測量數(shù)據(jù)的對比

結(jié)果表明，二者之間西蘭花頭部尺寸數(shù)據(jù)的總體分布幾乎相同，決定系數(shù) R2≥0.57?？傮w而言，基于無人機的測量能夠準確地表征整個農(nóng)田的西蘭花高清分布。

03 基于非線性回歸模型預測最佳采收日期

當花頭直徑 (HD) 約為 3-3.5 cm 時，研究人員便啟動了基于無人機的測量。

如下圖所示，為了獲取首次飛行的歸一化溫度 T(0) （HD 約為9.5厘米），研究人員將先前的模型反轉(zhuǎn)以從 HD 數(shù)據(jù)中計算 T(0)。然后計算后續(xù)天數(shù) (i) 的每日溫度和 (Ti)，最后對該模型進行回歸計算。

基于這個模型，研究人員使用隨時間變化的 T，計算了第一次航測后的西蘭花頭部尺寸。

西蘭花頭尺寸預測模型的數(shù)據(jù)處理圖示

所有數(shù)字只是示例，并非實際結(jié)果

A：不同日期的現(xiàn)場測量直徑；淺色用作起始日期，西蘭花頭的大小約為 3-3.5 cm。T 為日平均氣溫之和。ΔTi 是溫度總偏差。

B：將上一個表重塑為 2 列表，用于 C 中所示的回歸分析。

D：將之前的回歸模型用于從 HD 初始化 T。隨后幾天的 T 加上偏差 ΔTi。

E：將之前的數(shù)據(jù)用于從 T 到 HD 的回歸預測模型。

使用無人機預測的花頭直徑 (HD) 來計算收入，對每個日期、每個尺寸標準的個體數(shù)量進行了統(tǒng)計。

最終，通過將每個尺寸等級的數(shù)量和運輸價格相乘，計算了每個收獲日期的總收入，選擇具有最高收入的日期作為最佳收獲日期。

04采收日期差之毫厘，菜農(nóng)利潤謬以千里

基于初始化和預測模型，研究團隊計算了采收期間所有西蘭花大小的分布，然后計算非標準尺寸西蘭花的比例和所有日期的總收入。

在 2020 年的實驗中，5 月 23 日是最佳收獲日期，即非標準尺寸西蘭花比例最小化、總收入最大化的日期。在 2021 年的試驗中，5 月 17 日被確定為最佳收獲日期。

同時，研究人員發(fā)現(xiàn)，收獲時間偏離最佳日期 1 天可能會導致相當大的收入損失——減少 3.7% 至 20.4%。

2020 年和 2021 年試驗中預測的 HD 分布，以及非標準尺寸西蘭花的比例和總收入，橙黃色為最佳采收日期

此外，本研究表明，非標準尺寸的西蘭花比例和總收入隨采收日期而迅速變化。例如，比最佳采收日期提前或推遲 1 天會使非標準尺寸的西蘭花數(shù)量增加約 5％，總收入減少約 20％，而比最佳采收日期推遲 2 天會使非標準尺寸的西蘭花數(shù)量增加約 15％，總利潤減少約 40％。

05 智能化技術(shù)改革傳統(tǒng)勞作模式

「民以食為天，農(nóng)為食之源」，農(nóng)業(yè)對于人類社會的重要性無需贅述，同時，作為社會與經(jīng)濟發(fā)展的重要支柱，農(nóng)業(yè)也是最早一批投身智慧化升級的行業(yè)，各類農(nóng)田檢測系統(tǒng)、智慧化灌溉設備、無人駕駛采收設備已經(jīng)開始在地頭田間辛勤耕作了。

聚焦到無人機在農(nóng)業(yè)中的應用，隨著 5G、機器視覺、大數(shù)據(jù)等技術(shù)的持續(xù)發(fā)展，其也飛入了尋常百姓家。

最初，無人機更多地是承擔了植保工作，更加高效、均勻的施肥打藥大大節(jié)省了人力與時間成本。而后，航拍技術(shù)更加成熟，加之成本下探，使得其與農(nóng)業(yè)也擦出了更多火花，基于無人機的農(nóng)田檢測、作物長勢可視化等應用成為了新農(nóng)業(yè)的亮眼成績單。

可以預見，隨著 AI 相關(guān)技術(shù)的持續(xù)深化落地，更多的先進成果將走出實驗室，走進農(nóng)田，改善「面朝黃土背朝天」的勞作模式。

參考鏈接：

[1]https://spj.science.org/doi/10.34133/plantphenomics.0086#body-ref-B4