基于YOLO的无人机技术:研究综述及其应用
- 2023-11-14 13:02:00
- aiadmin 原创
- 1387
目前,无人机(UAV)或空中呆板人正处于迅速进展功夫,基于YOLO算法的方针检测功能正在工业上已到达较高水准,该算法仍必要不时改良。无人性能够领导各样配置来结束区别的义务。这些义务的例子征求喷洒液体药物,测绘,物流运输,劫难处理,航空拍照以及播种肥料或种子。基于YOLO算法的物体检测手艺依然可以杀青人类活动领悟,面罩识别,医疗诊断领悟,自愿驾驶,交通评估,众方针跟踪和呆板人视觉。然而,无人机面对杂乱的场景或职业必要与地面把持终端连结精良的数据通讯,以是无人机手艺的革新和进展也许会受到某些运用情况的范围。然而,无人机面对杂乱的场景或职业必要与地面把持终端连结精良的数据通讯,以是无人机手艺的革新和进展也许会受到某些运用情况的范围。别的,基于YOLO算法的方针检测手艺必要计划到高功能管制器中,并与图像或视频数据团结运用,这对运用场景提出了必然的请求。这两种手艺能够团结起来,制造出一种新手艺——基于YOLO的无人机手艺(YBUT)。无人机为YOLO算法供给了更众的运用场景,YOLO算法能够助助无人机结束更众希奇的义务。通过这种方法,无人机手艺和YOLO算法能够进一步推动人们的闲居生计,同时为各自行业的出产力做出奉献。
跟着无人机手艺的不时成熟,宇宙各邦的无人机数目每年都正在扩张,依据环球商用无人机的年销量和销量统计,如图1所示,到2025年,环球将有约679,000架无人机,商场范畴约为5亿美元。环球无人机数目这样之众,即使无人性能够行为空中平台计划YOLO算法,就有也许使无人机更有代价。
YOLO是一种普及运用的深度进修算法,由于它是一种基于分类/回归的对象检测技巧,付与算法主题上风:机闭极端单纯,模子体积小,估计速率疾。自引入YOLO往后(截至2023年2月)原委七年的进展,酌量职员宣告了YOLO算法的七个版本。基于YOLO的方针检测算法的机制是将输入图像调理为雷同的巨细,然后将图像分成巨细相当的S×S收集单位,每个稀少的收集单位都能够检测此中的对象。即使检测到的方针的中央落入收集像元中,则该收集像元将对方针举办预测。每个收集小区也许有N个检测框,每个检测框不但估计本身的处所,还做出预测分数。分数流露检测方针存正在于预测收集单位中的也许性。因为收集单位中也许有众个框,YOLO将自愿拣选得分最高的方针种别举办预测,如图2所示。
诈骗中英文查找引擎(如Web of Science、中邦邦度常识根底办法)对检索结果举办领悟,获得中英文期刊正在闭系范畴的苛重酌量中心。迄今为止,估计机视觉手艺依然开采了各样各样的算法,此中YOLO算法是正在2016年提出的,然后正在2017年由Jiang等人初次运用,他们将YOLO算法与无人机相团结。从此,YOLO算法和无人机调和手艺不时进展,闭系酌量收效或运用激增。该手艺也已从探究性测验变化为学术酌量热门(睹图3)。
依据咱们对YBUT运用范畴的观察,英文期刊中该范畴热门话题的新闻汇总为饼图,如图4中的观察结果所示。从饼图能够看出,热门话题苛重会合正在手艺酌量、工程和运输等行业,宣告的论文或聚会文献的数目代外了酌量职员的乐趣。咱们还观察了该范畴热门话题的中邦期刊,出现它们更体贴手艺酌量、工程和自愿化范畴。跟着无人机手艺和YOLO算法的不时进展,这项手艺着手正在大大都范畴举办探究,正在少数范畴,依然得到了极少告成。YBUT的进展和酌量平昔是顶级期刊和聚会的热门话题,现正在该手艺的实践运用正慢慢惹起他们的乐趣。
正在YBUT运用的早期阶段,苛重职业机制是通过无人机采撷图像或视频数据,然后由运转基于YOLO的方针检测算法的估计机举办方针检测,识别和分类。为了探究从无人机捕捉的图像中检测车辆的技巧,以运用于交通监控和处理,而且因为深度进修算法正在方针检测中显示出显着的上风,酌量职员试验将基于YOLO的方针检测算法运用于无人机图像中的车辆检测。Jiang等正在无人机上集成了热红外成像传感器和可睹光成像传感器,修建了众源数据采撷编制,通过特点点提取和单反映矩阵技巧对图像举办校正和对齐,然后对众源数据举办图像调和。最终,他们诈骗深度进修YOLO算法举办数据熬炼和车辆检测(睹图5)。
别的,Ruan等人试图运用深度进修和基于视觉的drogue检测和定位技巧来治理杂乱情况中无人机自决空中加油雾滴简直实检测和定位题目。他们运用原委熬炼的YOLO算法举办锥形轨迹检测,正在确定基准处所后运用最小二乘椭圆拟合来确定椭圆的长半轴,最终运用单目视觉相机举办椎体下垂定位(睹图6)。
跟着YBUT的不时进展,新一代无人机装备了富厚的估计资源高功能管制器,此中计划了基于YOLO的方针检测算法,承诺管制器正在无人机征采数据时及时检测,识别和分类义务对象。Zhang等人工了探究新一代手艺的可行性,将YOLOv3算法嵌入到资源有限的NVIDIA Jason TX1平台情况中(睹图7),并让无人机领导嵌入式平台举办及时行人检测测验。
Alam等人工了减轻无人机机载嵌入式管制器的估计压力,巩固YBUT的适用性,提出了一种高性价比的空中看守编制,该编制保存了机载嵌入式管制器Movidius VPU上有限的Tiny-YOLO估计需求,将大型Tiny-YOLO估计义务迁移到云端,并连结无人机与云之间的最小通讯。与其他最优秀的技巧比拟,该编制正在每秒帧数的方针检测管制速率方面疾六倍,同机遇载嵌入式管制器手艺的运用消浸了端到端延迟和收集资源打发(睹图8)。
Doukhi等人运用了装备Nvidia Jetson TX2高功能嵌入式管制器和PID把持器的无人机。然后,他们将YOLOv3算法计划正在嵌入式管制器中,诈骗基于YOLO的方针检测算法直观地领导无人机跟踪检测到的方针,同时运用PID把持器把持无人机航行。测验结果声明,所提技巧仅通过鱼眼相机告成杀青了定位和无人机跟踪航行的视觉SLAM,无需外部定位传感器或引入GPS信号(睹图9)。
图9 基于深度进修的运动把持软件架构。图中血色圆圈流露YOLOv3算法中的输入RGB图像,橙色圆圈流露YOLOv3算法的估计流程,蓝色圆圈流露YOLOv3算法检测到的方针和畛域框数据
Afifi等人提出了一个用于众场景行人检测的重大框架,该框架运用YOLO-v3物体检测行为骨干检测器(睹图10),并正在无人机上的Nvidia Jetson TX2嵌入式管制器上运转。来自众个室门外汉检测场景的测验结果声明,与YOLOv3算法比拟,跟着嵌入式管制器估计资源的扩张,所提出的检测框架正在mAP和FPS方面显示出更好的功能。
YBUT已运用较为成熟的酌量范畴是输电线道检测、修筑外貌检测、动方针跟踪、仪外显示读数、光伏组件检测、修筑识别与分类。依据目前的观察,YBUT正在工程范畴的运用酌量中,酌量职员更笃爱传输线检测的倾向。正在杂乱情况中能够确实识别、分类和定位电力线杆、绝缘子、电气元件、配电线杆、输电塔、鸟巢和断道器等物体。比如,Bao等人提出了一种端到端并行搀和细心力检测YOLO收集(PMA-YOLO),通过无人机征采传输线减振器数据,然后创筑一个数据集来熬炼和测试模子;结果声明,该模子可以检测特地减振器,确实率为93.8%(睹图11)。
图11 PMA-YOLO收集检测特地减振器的测验结果。“生锈”、“有缺陷”和“平常”阻尼器的地面实况框和预测框区别以黄色、血色、蓝色和绿色显示
比来,Alsanad等人提出了一种改良的YOLOv3算法,用于低空空域的小型无人机检测;测验声明,所公然的改良算法模子可以有用检测杂乱情况下的低空无人机(睹图12),并可告成运用于反无人机酌量范畴处理低空空域无人机。基于已有酌量,该技巧进一步普及了YBUT的低空小型无人机探测功能。
为了进一步处理和牵制生计中的各样运输方法,BUT正在运输范畴举办了众次试验。比如,Feng等人提出了一种基于YOLOv3的无人机检测技巧(睹图13)。
都邑交通处理运用和都邑道道处理都是YBUT手艺运用的紧急倾向。Silva等人计划了一个漫衍式无人机平台,计划YOLOv4来检测道道损坏(睹图15)。
Zhao等人提出了一种基于YOLOv3的无人机高速公道中央记号检测算法,YOLO-Highway(睹图16)。
正在农业范畴,很众棘手的职业依然有了基于YBUT的新治理计划。跟着YBUT的不时进展和扩展,现正在能够检测大型植物物种中的区别方针和特点,比如正在枯树检测,松雕谢病线),松树雕谢病检测,油棕树果实检测和其他义务。
图17(a,b)是患病树木检测区域的原始图像,(c,d)是MobileNetv2-YOLOv4算法检测该区域病树的结果
别的,YBUT还可用于涉及小型植物的领悟,比如豌豆和草莓四周的杂草检测(睹图18),田间小麦外型监测和番茄萌芽器检测。
跟着无人驾驶观点的扩张,某些运用已急速杀青自愿化。Kraft等人提出了一种基于YOLOv4的技巧,通过运用无人机正在公园中定位垃圾。测验结果声明,无人性能够检测垃圾,而且能够正在固定区域内征采垃圾处所数据,同时正在舆图上记号垃圾处所,以便清扫职员查看,以便于干净(睹图20)。
异日,该编制还能够与其他配置配合定位并自愿清扫垃圾,彻底省略清扫车的职业量。Liao等人提出了一种基于无人机的海洋垃圾检测编制,该编制使器材有改良的YOLO算法的无人机举办海洋垃圾检测;他们的编制通过互联网将结果传输到地面监测平台,以协助政府机构实践处理方针(睹图21)。
除了上面商酌的YBUT运用的苛重范畴外,极少酌量职员还探究了全新的范畴,试验了新的技巧,并诈骗这些技巧来推动和巩固YBUT的合用性和适用性。Jing等人提出了一种基于YOLOv5s-ViT-BiFPN的神经收集,该收集能够运用无人机图像评估自然劫难后屯子衡宇的损坏情状(睹图22)。
到目前为止,YBUT的进展正在工程,运输,农业和自愿化方面的运用更众,而正在其他范畴的施行较少;该手艺的宣扬依然是一个离间。异日的手艺进展必要研商这四个题目。
联系人: | 王先生 |
---|---|
电话: | 15640228768 |
微信: | 1735252255 |
地址: | 沈阳市铁西区兴华南街58-6号 |
-
思陌产品
深度学习系统产品介绍 -
使用帮助
使用手册 -
关于我们
公司简介 -
资讯反馈
交流论坛 -
联系我们
Tel 15640228768 QQ/WX技术支持 1735252255