点击上方蓝字关注我吧!
李震教授“智慧农业在果园虫害监测中的应用探索”直播回放 当在手机APP上按下指令,果园内的水肥、农药喷头就会自动喷撒。管理人员可以根据土壤监测仪收集的数据进行研判并远程调整水肥配比,甚至可以解决水果产业“大小年”问题……这些场景已经在智慧果园实现了。那其实说到智慧果园,我们很多小伙伴应该有印象,在去年的520,首个“空天地一体化智慧果园项目”在茂名亮相中国荔枝产业大会,开启了果园新模式,并且获得了多方的关注。 在果园生产管理上,果农们最大的烦恼想必就是如何保证作物不受到病虫害的威胁,作物的健康关系到作物品质,与经济效益直接挂钩,因此做好病虫害监测尤为重要和迫切。 本次是“AI•农业智汇云讲堂”第三十一期,报告主题是“智慧农业在果园虫害监测中的应用探索”。 本期,我们非常荣幸的请到了华南农业大学电子工程学院、人工智能学院副院长李震教授。
柑橘果园主要虫害介绍
橘小实蝇害虫与虫害 橘小实蝇可危害40多科250多种果树、蔬菜类果实,具有适应性强、繁殖传播快、危害范围广等特点。 重灾果园水果的受害率可达80%~100%,严重影响水果的品质和产量。 该虫原发于我国台湾和日本琉球群岛一带,后传至20多个国家和地区。 我国广东、广西、福建、云南、四川、湖南等省区也有传入。
传统的橘小实蝇测报方法 ①橘小实蝇是华南地区危害最严重的害虫; ②传统的测报方法(捕虫瓶、黄板等)费时费力,无法实现大范围实时监测; ③需要便捷、高效、准确的新型测报技术与装备。
柑橘木虱害虫与虫害 黄龙病胁迫叶片 黄龙病胁迫果实 黄龙病胁迫果树 柑橘黄龙病是发生在柑橘上一种的毁性病害。严重影响产量和品质,甚至造成柑橘树枯死。柑橘黄龙病不可治,但可以从各个方面对其进行有效控制,使果农的损失降至最低。 柑橘木虱是柑橘黄龙病的传播媒介,木虱成虫大多在感染病害的嫩树梢上产卵,孵化出若虫后开始吸取嫩梢的汁液,从而产生大量的带菌成虫,这些带菌成虫再飞到新植株上传播柑橘黄龙病。
国外检测方法
橘小实蝇智能精准测报技术与装备
技术要点 ①基于嵌入式机器视觉和人工智能技术,辅以红外传感检测技术,对果园橘小实蝇虫害进行现场精准测报; ②利用农业物联网技术,实现橘小实蝇测报信息的线上共享,实现对果园虫害进行远程监测。
在线监测网络设计
专利保护的新型捕虫器 一种新型捕虫器,发明专利号:ZL 201310023659.4
虫口检测与计数模块
虫口检测与计数模块结构图
功能:
(1) 统计进入捕虫器的橘小实蝇数量;
(2) 唤醒为节电而进入睡眠的其他电路。
虫口检测与技术模块 PCB板圆形设计,与捕虫器外壳形状配套 装配在捕虫器上的虫口检测与技术模块
实蝇检测策略示意图
红外对管安装于捕虫器进虫通道,发射管和接收管对射安装,当实蝇从进虫通道进入捕虫器时,传感器被遮挡,触发检测。实际测试发现,存在实蝇沿进虫通道走出捕虫器的情况,因此每通道安装两对红外对管A、B。当实蝇从捕虫器外进入区域A时,如下图箭头①路径所示,先触发红外对管A后触发红外对管B,此时记录为实蝇进入捕虫器;当实蝇从捕虫器区域A往外走,如下图箭头②路径所示,先触发红外对管B后触发光红外对管A,此时记录为实蝇走出捕虫器。
橘小实蝇检测通路部分电路图
模块输出结果
基于机器视觉的柑橘果实蝇检测与识别算法 01 图像配准
在YCbCr 色彩空间进行图像目标和背景分割;
三种实蝇腰腹部之间的黄色盾形区在实蝇身体的黄色区域面积最大,因此可以用作图像配准的长轴搜索区。
原图像 分割后区域 区域二值化 盾形区
02 图像配准——结果
长轴搜索区 长轴 图像旋转 配准结果
①准确率100%;
②处理360*360像素分辨率图像的平均耗时0.4s;
③无法自动获得各种光照条件下的分割阈值。
03 实蝇背部条纹带分割与定位
HSV空间滤值
橘小实蝇在监测区内运动轨迹跟踪
Camshit算法和卡尔曼滤波器用于监测区橘小实蝇的运动轨迹跟踪。
运动轨迹跟踪算法
工业摄像头拍摄的6帧连续图像
田间监测子系统设计
子系统结构图
选用新型的ARM+DSP双核处理器;
摄像头驱动:完成YUYV格式摄像头在DM3730上的驱动,可以获取到相应的图像信息,目前摄像头的分辨率为640*480;
双核协调:由ARM端通过Linux系统的V4L2接口来驱动摄像头,获取摄像头数据,然后通过远程调用DSP端程序时的形参传入,使得DSP端可以访问到摄像头数据;
确定函数:将EMCV函数全部找出整理成表,并且找到需要开辟内存空间的函数,为以后的代码优化起到参考作用。
橘小实蝇识别效果
协调模块由32位微处理器,TF存储卡,433MHz无线通信模块,RS485转换模块,TFT LCD显示器驱动模块和LDO稳压器组成。
协调模块的功能是协调监测系统各部分工作。
系统实物
第一代田间监测节点
第二代田间监测节点
第三代田间监测节点,加装了摄像机保护装置
监测节点监视器界面 果园信息监控平台
柑橘木虱智能精准测报技术与装备
设计目标
技术路线
柑橘木虱图像采集
柑橘木虱标注
JOIN US 样本扩增
基于YOLOv4-Tiny的目标检测与识别模型
YOLOv4-Tiny目标检测模型结构精简,具有较快的推理速度,适用于嵌入式硬件平台。
基于K-means++算法计算锚框
使用k-means++算法计算锚点框,解决柑橘木虱长宽比较大,导致k-means算法容易陷入局部最优解的问题,提升识别准确率。
基于Mosaic算法实现数据增强
01
方法:
随机选择裁剪比例 x 和 y, 0.2< x, y <0.8。
读取四张图片,分别对四张图片进行裁剪和拼接,最终获得一张新图片(系统自动完成)。
02
优点:
新图片传入到神经网络中学习,相当于传入四张图片进行学习,提高学习效率,丰富待测目标的背景
Cross mini-batch Normalization(CmBN)
CmBN结合多个先前的迭代结果来对当前batch中统计值进行估计,提升网络学习的效率。
柑橘木虱识别效果
该算法对现场拍摄的图像中柑橘木虱的平均识别率为95.53%,在典型商用嵌入式平台运行时,检测速度为310FPS,模型大小为24.5MB,适合部署于嵌入式边缘计算平台。
系统部署
在商业化监测节点部署算法
自主研发专用的监测节点
前景与展望
01 柑橘果园病虫害发生情况日益严重,目前普遍缺乏有效的测报手段;
02 果农为确保产量,不断提升化肥农药施用量,导致环境污染日益严重;
03 现有的果园虫害智能化在线高效测报技术均处于研发阶段,尚未大范围推广应用;
04 需要科研、管理、推广部门和果农协作,促进技术成果的转化应用。
李震教授“智慧农业在果园虫害监测中的应用探索”直播 ——观众提问集中回答
李教授,目前果园除了杀虫灯等设备,还有哪些装备适用于果园?一般果园科学防治需要投入多少?
这个问题感觉还是比较专业,实际上除了杀虫灯用的比较多。现在农业从智慧农业这个角度来讲,还有一些吸入式的虫害捕捉器,现在已经有小范围的应用了;还有放一些诱惑剂的,如荷尔蒙、光等,利用虫子的趋光性等特性。 当虫子过来之后,下面有一个风扇在转,产生一个吸力,将飞虫吸进去之后,在里面进行识别。如果是益虫,打开旁边的翻盖,将其排出,帮助果园生产;如果是害虫,下面再有一个机构,将害虫吸入,里面进行电击杀,或者直接关住,一段时间它自己死掉了。这个也有一些小范围的应用。
请问李教授,现在柑橘还有哪些主要病害?怎么防治?黄龙病怎么办?
柑橘的病虫害其实是很多的,刚刚主要介绍了两个,橘小实蝇和柑橘木虱。柑橘木虱是导致柑橘黄龙病的主要传播媒介,除了这些以外,还有潜叶蛾、红蜘蛛等。昨天去果园调研的时候,果农提出了如何更有效防治红蜘蛛的需求。 关于黄龙病,华农很多专家都提出了可防可控,但是目前还不可治。希望果农统防统治,及时喷洒相关农药。当然也希望大家考虑我们的系统,给大家喷洒农药过程中提供一些依据,不是盲目地喷了。以前是比较盲目,按照时间间隔喷洒农药,带来了环境污染等问题。这套系统我们也需要完善一些,如果能够推广应用,果农就能了解,我这个果园已经发生木虱了,就开始喷药,由按时喷药变成按需喷药,这就是防控的一个新手段。 当然也有很多专家在防控黄龙病上提出了很多好的方法,也建议大家和其他专家多联系交流。
李教授,今天您主要是以柑橘果园为案例的,如果推广应用到其他的作物果园。是否会有一些通用型的设备或者技术是会适用的呢?
我第一个讲的是橘小实蝇的监测装备,虽然它名字里有一个橘,但是其危害范围是很广的,250个科,除了柑橘外,还有杨桃、草莓、西瓜、黄瓜、玫瑰花等。 这套系统我们研究的时候是布置在柑橘园,实际上这么多作物都可以部署这套系统。我们的系统本身具有一定的扩展性的。 第二个从技术来说,像人工智能也有在不同作物方面的应用。你要根据害虫的特性,因为很多AI的应用在于如何找到合适的传感器,是声学的、光学的还是视觉的。找到之后,根据特定害虫的迁飞、趋向、趋光的特性,尝试捕捉之后再分析它,代替人去了解情况。这是现阶段可探索的形势。
李教授,我了解到其实广东四会其实之前是砂糖橘之乡,现在很多砂糖橘都已经是在广西去种植生产,难到是说那边的条件更合适还是有其他原因呢?
这也是做柑橘的人一直在思考的问题,实际上需要从土壤、气候条件来说,四会这边的基本条件肯定是适合沙糖橘的。产业受到打击的一个主要原因就是柑橘黄龙病,对四会砂糖橘的影响还是比较严重的,现在也是逐渐恢复。 因为很多搞栽培管理、信息化的专家们都在齐心协力,希望让广东整体的柑橘产业,包括砂糖橘,能够恢复起来。包括省里对这方面也有一些投入。换句话说大家要有信心,黄龙病是可防可控的,可能暂时治还没有很好的方法。如果恢复种植柑橘类的水果应该还是很有希望的。因为广西有一些做法,保证了黄龙病的发病没有那么严重,我们广东也可以借鉴一些比较好的方法,因为他们有些方法确实可以复制。
李教授,果树虫害智能识别技术如何在产业化中得到低成本应用?不同果树的通用性如何评价?
这也是我们在不断努力的方向,有些观众看了我刚才的介绍之后,大家的第一印象都觉得这两项技术都会带来成本的提升。 一方面我们都尽可能降低使用成本,特别现在配合5G(4G也可以),因为计算是使用边缘计算,算力在田间,必然每个节点都要有一定的算力,因为节点是一个多点部署的东西,单价肯定会高。如果配合5G,把整个的边缘计算都变成云计算,田间部分就不再负责计算部分的了,所有的算力都上升到云上,这样可以降低在田间部署的节点的成本,这个降低还是很可观的。这样有利于推广大范围的部署。 第二个这是一个经济性的问题,就是说我部署系统之后,如果带来的经济效益和收益比投入要高,这个系统就有部署的价值和意义,虽然价格不一定马上下降很快,但是带来的好处,比如化肥农药减少了,或者黄龙病没有那么严重了,这就是实实在在的好处,这些方面的收益,比系统付出的要多,投入产出比高。这就是推广的原动力。 这需要两方面思考问题与实行。
李教授您好,使用YOLO检测虫害在实际应用中也要在4cm~10cm的范围内拍摄吗?有没有办法实现较远距离,对更大范围进行监测?
刚才PPT最后也讲到两个方法,一个是基于商用平台,就像上一位听众问的问题,商用平台做的时候要从成本考虑,摄像头的分辨率和自动调焦的能力会受限于成本,所以这方面商用平台还是比较弱的。因为最开始我们还是和商业模式合作的,导致我们设计算法的时候,距离和监测范围是受到了一定的影响,受制于参数。同时大家也可以看到柑橘木虱很小,和一个芝麻粒那么大,大家可以想象一下,如果要大范围监测,就需要用很高清的摄像头。这时候,一个摄像头的成本就很高了。 我们设计这个系统的初衷,也考虑过将单个的成本降下来,在果园大范围部署,比如一棵或几棵树就部署一个,可能每个摄像头的分辨率都不是那么强;还是说我部署几个比较高端的、分辨率比较好的摄像头。最终,我们讨论的结果是,因为木虱不是每棵树都有,如果是一个广角拍摄,有可能这一带都没有,这样很可能漏检;如果分布比较多,三五棵树就布一个,成本就比较低,但范围布置了,可能监测距离没有那么远,但是某棵树一发生就知道。这样从监测效果来说会更好一些。 这个问题,实际上是找平衡的问题,我们也一直在思考。
目前的病虫害图像数据很难采集,如果真的要实现更多种类病虫害的自动监测,是不是还需要牺牲很多产量来制造病虫害呢?
实际上这就是我刚才讲的,包括自己的果园为了拍木虱的图片也是做了一些牺牲。 像我们华南农业大学有一个好处,有专门研究病虫害的团队。拍木虱和橘小实蝇的时候也是和相关团队合作,由他们提供相关的样本。所以在实验室阶段,也不能说牺牲大量的产量,毕竟也是和人家合作。 当然在推广应用中,我们希望系统布下去压根儿就没有东西拍,那是最理想的阶段。也不一定说要牺牲很多东西。实际部署的时候肯定能拍到,因为我们去了很多果园发现,即使按照指导意见足量喷药也有虫害。肯定说可以监测到的,也不一定说为了让系统有效果,果园就疏于管理,不是这个意思。该怎么管就怎么管,我们只是一个辅助手段,让果农管的更好。
李教授,虫害的图像获取,如何避免自然光照的影响?
这个问题就很专业了,因为刚才受时间的限制,就没有讲。捕虫器的盖子是由7个部件组成的,里面已经考虑到光的影响,我们把摄像头布在了捕虫器的内部以降低光的影响。同时在专利设计上设计了一个光窗,可以调整进光量。通过两个板的重叠度调整进光量,目的就是实现白天的进光量适合拍摄。但是这需要人工根据不同场景进行调整,至少在这个时间段内进光量是适合拍摄的,以避免光的影响。早期我们也发现了这个问题,机器视觉受光的影响还是非常明显的,后来做了改进,做了这个装置。
请问要在自然场景下基于图像自动监测病虫害目前还有哪些难点?
要说难点还是比较多的。 第一个就是刚刚说的橘小实蝇的监测。从技术点来说,一些迁飞性的昆虫都会飞入瓶子里。如果这个系统就是要监测橘小实蝇的话,这时候就需要配合比较复杂的算法和局限; 第二个就是成本考虑。毕竟图像采集设备的成本现在还是比较高的,同时还有很多问题不太好解决。像我们正在尝试解决的户外的自动对焦,我们把橘小实蝇捕捉到瓶子里,这个对焦比较好解决;但是如果在开放式的空间中,我怎么做自动对焦、自动发现,这是需要解决的问题。一些阶段性成果还不太方便和大家分享,因为还不成熟。 第三个是算法本身。处理的时间、准确度等方面也需要不断完善。
李教授,虫害的识别通过监测点设备识别技术较为成熟,目前是怎样通过点监测实现面的监测预警,做到未雨绸缪?
因为多个点其实已经可以反映整个果园的情况了。按照防治要求,不是果园大面积发生了才做防治,很多时候我们要知道的信息就是是否发生。像橘小实蝇是迁飞性的,一旦果园的某个点或多个点都能够检测到橘小实蝇,说明整个果园肯定就有了,这个时候就要做防治了。 包括柑橘木虱也是,一棵树或者几棵树都发现了,实际上能够代表整个果园有防治的需求,不能存在侥幸心理“这个点有另外一些点没有”。因为这是代表性的点。就好比国内如果出现一例新冠,整个国家都要重视,不能说“这个地方有,其他地方没有”。不能存在侥幸心理。
如果有问题想继续与李震教授交流,欢迎在评论区下方留言或者发送邮件交流。 李震教授邮箱: 23306782@qq.com
END