www.2566.com-葡京在线-奥门新萄京网站
欢迎光临北京瑞达恩科技股份有限公司官网! 电话:010-58711125
www.8455.com 【ENGLISH】 【中文版】

基于毫米波雷达和机械视觉的夜间火线车辆检测

为研讨夜间追尾变乱中本车智能防撞预警要领,本文提出了一种基于和的火线车辆检测要领。应用多融会数据,检测火线车辆的间隔、速度等。竖立传感器之间转换干系,转换雷达目的的天下坐标到图象坐标。
 
正在图象上构成感兴趣地区,应用图象处置惩罚要领削减滋扰点,应用 Dempster-Shafer(D-S)证据实际,融会特性信息,获得总的信托度值磨练感兴趣区域内的车辆。实行采集多段夜间道路行车视频数据,统计实现尾灯辨认的帧数,取主观判定停止对照。效果注解:该要领可以或许实现对夜间火线车辆的检测和定位。
 
本文来自 2016 年 6 月 15 日出书的《 汽车平安取节能学报 》,作者是吉林大学交通学院的金立生传授和程蕾和清华大学汽车平安取节能国家重点实验室的成波传授。
 
 
道路交通变乱中由追尾相撞致使的变乱占很大比例,而夜间交通事故尤其严峻,约占交通事故总数的 40%。夜间车辆检测手艺已成为智能车辆平安辅佐驾驶体系的重要组成局部,用于正确天辨认夜间火线车辆,为驾驶员实时供应火线车辆信息及路况,低落夜间交通事故的发作 [1]。
 
夜间因为光芒强度不敷,大部分日间的车辆特性信息曾经不可用,因而用于日间的车辆检测算法根基生效。车辆尾灯是夜间车辆的显着特性,现在,关于夜间火线车辆检测辨认的研讨重要是应用单目视觉传感器,获得车辆火线的视觉感知信息,基于图象信息提取尾灯特性停止火线车辆辨认。
 
刘尊洋等人联合车辆尾灯的色彩取亮度检测尾灯 [2];吴海涛等人对前车灯对配对停止车辆的跟踪 [3];唐佳林等人接纳帧差法提取感兴趣地区 [4];王孝兰挑选基于恍惚实际的支解要领对图象停止支解,提取车牌、尾灯的特性 [5];祁秋红等人经由过程色彩(hue)-饱和度(saturation)-明度(value)的色彩模子(HSV)对尾灯的色彩信息停止支解,辨出车辆位置[6];周俊杰接纳基于R通道直方图的白(red)-绿(green)-蓝(blue)彩色(RGB)空间自适应阈值支解图象,自适应结果不是很幻想 [7]。
 
机械视觉是一种用于车辆检测的有用传感器,但其有肯定的局限性,因而有文献提出综合思索激光雷达和机械视觉的信息,停止火线目的车辆检测 [8-9]。固然激光雷达和机械视觉正在一定程度能够互补,但激光雷达对天色、灯光、障碍物外面润滑度等滋扰异常敏感,不适合庞大道路情况。
 
因为毫米波雷达不容易受外界滋扰并且丈量的间隔精度下,能够正确得到火线车辆的速度、角度等深度信息。因而,本文提出应用毫米波雷达和机械视觉停止多传感器数据融会,经由过程先验常识挑选毫米波雷达探测到的障碍物数据,融会雷达数据和图象信息开端建立静态感兴趣地区(Region of Interest,ROI),正在缩小的范围内基于视觉传感器提取表征车辆的特性,应用 D-S 证据实际(Dempster-Shafer Evidential Theory)融会信息,削减了盘算量和主观阈值对检测精确度的影响,进步了实行速度和车辆定位的准确性。
 
1. 夜间车辆检测算法实现
整个过程分为假定发生(Hypothesis Generation,HG)和假设检验(Hypothesis Verifcation,HV)两局部:
 
假定发生历程应用雷达获得候选目的的的间隔、角度、速度等信息,进而获得候选目的的天下坐标,顺用摄像机标定道理获得天下坐标取图象像素坐标的转换干系,开端肯定候选目的正在图象上的地区,即感兴趣地区 ROI;
假定考证历程是经由过程革新的自适应阈值肯定要领(大津法,OTSU 法)停止图象支解处置惩罚,进而应用图象处置惩罚要领、先验常识和 D-S 证据实际对感兴趣地区检测是不是存在车辆特性。
 
图 1  夜间火线车辆检测要领流程图
 
算法流程图如图 1 所示。
 
2. 假定发生(HG)
2.1 雷达数据处理及初选目的确实定
毫米波雷达吸收到的是十六进制数据,凭据雷达和谈解算数据,并提取能够用于车辆检测的有用信息包孕:火线车辆相对本车的角度、间隔、速度、反射强度。正在现实丈量中,毫米波雷达获得的旌旗灯号有一部分是空目的旌旗灯号、无效目的旌旗灯号、静止目的旌旗灯号,起首要去除那 3 种目的旌旗灯号的滋扰。
 
凭据国家规定车道宽度设置横向宽度阈值,停止目的取自车的同车道判定,保存行驶偏向间隔阈值和相对速度阈值内的目的,对挑选出的火线目的由近及远的原则从新排序,运用同车道近距离原则初选有用目的,如表 1 所示。
 
表 1  初选有用目的旌旗灯号
 
表 1 中:ID 示意雷达检测获得的目的旌旗灯号的尺度帧号;α、R、Δv 离别为本车取目的旌旗灯号的相对角度、相对间隔、相对速度(∆v = v1 - v0,v1 为目的速度,v0 为本车速度);p 从目的返回旌旗灯号的强度,即反射率。
 
长距离的毫米波雷达扫描局限是 1~175 m,中距离是 1~60 m。间隔小于 1 m 时雷达便不克不及辨认物体。以制止车辆行驶历程中取火线车辆发作追尾碰撞为起点,正在有用目的挑选历程中最存眷的是取本车位于统一车道的火线近来车辆。当 Δv<0,有泛起追尾变乱的能够。因而,把雷达扫描近距离 1~60 m 内、离本车近来且 Δv<0 的车辆作为初选目的。
 
2.2 雷达数据和机械视觉的融会
雷达和机械视觉是差别坐标系的传感器,因而要实现雷达和机械视觉的空间融会,必需竖立两传感器地点坐标系的转换模子,即雷达坐标取图象像素坐标之间的转换。雷达坐标系取图象像素坐标系之间有着亲切的联络 [10],根据右手系原则竖立坐标系,由式 (1)-(2) 肯定坐标系之间的空间位置干系。
 
将天下坐标系中的点 ( XW, YW, ZW ) 变更到图象像素坐标 ( u, v ),转换公式为:
 
 
式中:( XW, YW, ZW, 1 )^T 是点的天下坐标,与其对应的摄像机齐次坐标是  ( XC, YC, ZC, 1 )^T,dx 取 dy 离别示意每一个像素正在横、纵轴上的物理单元下的巨细,f 是摄像机的焦距,s' 示意果摄像机成像平面坐标轴互相不正交引出的倾斜因子(Skew Factor),R 代表扭转矩阵(为一个 3×3 的正交单元矩阵),t 代表平移向量,I 是元素齐为 1 的对角矩阵,O=(0, 0, 0)^T。
 
毫米波雷达获得的火线障碍物信息是正在极坐标下的二维信息,将障碍物 P 的极坐标下的二维信息转换到直角坐标系中,雷达坐标系的 X0O0Z0 平面取天下坐标系的 XOZ 平面平行,两平面之间的间隔为 Y0,经由过程雷达能够获得火线车辆中心点投影到雷达扫射平面内的点 P 相对雷达的间隔 R 和角度 α,肯定点 P 正在天下坐标系下的坐标,转换干系以下:
 
 
 

 

由雷达得到火线车辆形心点的输入,综合以上竖立雷达坐标系和图象像素坐标系之间的相对干系,便可得到火线车辆正在像素平面的投影,基于车辆的常用形状(宽下比)投影正在像素平面上,竖立能够凭据间隔转变的静态感兴趣地区,缩小正在图象上的搜刮工夫,削减盘算量。经由过程统计发明一样平常车辆的宽下比正在 0.7~2.0 范围内,常见轿车、运动型多功能车(Sport Utility Vehicle,SUV)、面包车、商用车辆等车型的宽下比正在 0.7~1.3 范围内 [11],为了制止后续尾灯检测时会漏掉尾灯目的,本文拔取常见几种车型的最大宽下比 W/H=1.3。
 
静态感兴趣地区确实定以下:
 
 
 
式中:( x_lt, y_lt ),( x_rb, y_rb )离别为静态感兴趣矩形地区的左上角点和右下角点的像素坐标,( x, y )为车辆形心点的像素坐标。
 
图 2  雷达扫描图
 
图 3  雷达目的正在图象上的的 ROI
 
雷达扫描图如图 2 所示。雷达坐标系中的目的经坐标转换干系正在图象上构成的感兴趣地区如图 3 中的 (a) 列所示。静态感兴趣地区的巨细会随目的的间隔发作转变,以更合适的尺寸截取感兴趣地区图象停止下一步检测考证,缩小了检测局限,从而削减盘算量进步检测及时性。获得的感兴趣地区图象如图 3b 列所示。
 
3. 假定考证(HV)
3.1 图象支解
火线车辆尾灯对的灰度级取路面及配景的灰度级有显着区分,接纳阈值支解的要领能够快速正确天将尾灯对支解出来。
 
本文接纳革新的 OTSU 算法支解图象,凸显出表征车辆特性的尾灯局部。革新的 OTSU 算法是以传统 OTSU 为根蒂根基,从最小灰度值到最大灰度值遍历,当灰度 T 使得方差 σ^2 = w_0*w_1*(μ_0-μ_1)^2 最大时,再次应用传统 OTSU 对图象中大于 T 的局部从灰度 T 到最大灰度值遍历,获得阈值 T0 使大于灰度值 T 的局部的方差最大,提取阈值 T0,用 T0 对感兴趣地区图象停止二值化分割,目的灰度为 1,配景灰度为 0。
 
图 4  支解后图象
 
支解后的图象如图 4 所示。
 
3.2 基于图象形态学及先验常识的图象处置惩罚
因为噪声的影响,图象正在阈值化后所得到的界限每每是很不腻滑的,物体地区具有一些噪声孔,配景地区上漫衍着一些小的噪声物体,对支解后的图象停止图象形态学开闭运算处置惩罚,用来消弭小物体、正在纤细点奖励离物体、腻滑较大物体的界限,同时其实不显着改动其面积。侵蚀操纵会去掉物体的边沿点,微小物体所有的点都邑被以为是边沿点,因而会全部被删去。再做收缩时,留下来的大物体会变回本来的巨细,而被删除的小物体则永久消逝了。收缩操纵会使物体的界限向外扩大,若是物体内部存在小朴陋的话,经由收缩操纵这些洞将被补上,因此不再是界限了。再停止侵蚀操纵时,内部界限将变回本来的模样,而这些内部朴陋则永久消逝了[12]。开运算和闭运算的运算划定规矩以下:
 
 
经由过程对采集到的差别间隔的 253 张像素为 768×576 的图片停止处置惩罚后统计,车辆通亮块的面积最小不低于 10,最大不超于 300,统一车辆的阁下尾灯明块之间的程度间隔不小于 20 大于 300。同时,文献 [13] 提出 0~100 m 的间隔范围内,正在差别间隔采集到的图象上的车辆尾灯明块面积不小于 10,因而先经由过程明斑的面积阈值和程度间隔阈值去除感兴趣地区局部的一些滋扰明斑。
 
图 5  基于图象形态学和先验常识处置惩罚后的图象
 
本文经由过程接纳图象形态学和先验常识处置惩罚后的图象如图 5 所示。
 

 

3.3 D-S 证据实际融会特性信息
对处置惩罚后的感兴趣地区局部的图象停止连通地区符号,提取图象上能够表征车辆的特性,包孕:连通地区面积比、垂直偏向堆叠率,应用 D-S 证据实际,融会车辆的特性信息获得总的信托度值。
 
界说 1:设辨识框架 U 中的元素知足不相容前提,命题 A 对根基概率赋值函数 p 赋值 p(A) 是集合 2^U 到 [0,1] 的映射,知足以下前提:
 
 
 
本文界说辨识框架为 U={true,false},记连通地区面积比 R_A、垂直偏向堆叠率为 R_O,辨识框架下的 2 个命题离别为 A_1、A_2,其响应的证据概率函数为 p_1、p_2,两连通地区面积比靠近 1 的时刻,连通地区属于统一车辆的概率比较大,垂直偏向堆叠率越靠近 1,两连通地区正在统一程度的概率越大,因而两个命题的根基概率函数值由下式肯定:
 
 
 
 
接纳 D-S 组合划定规矩,对相容命题所对应的概率分派值停止融会,从而获得这些相容命题的交集命题所对应的概率分派值。假定 p_1 和 p_2 2 个根基概率函数的焦元离别为 B_1,⋯,B_k 取 C_1,⋯,C_k,应用正交和划定规矩 p(A) = p_1 ⊕ p_2 获得 2 个证据体的组合输出为:
 
 
 
 
p(A) 即是 p_1 和 p_2 的综合概率赋值。
 
图 6  应用 D-S 证据实际融会信息检测出的车辆尾灯
 
终究设立信托度阈值考证车辆如图 6 所示。
 
图 7  差别尾灯检测图
 
图 8 差别滋扰状况检测出的车辆尾灯
 
差别尾灯检测效果睹图 7;差别滋扰状况检测出的车辆尾灯检测效果睹图 8。
 

 

经由过程对差别车型实验,本要领的视觉考证能够实现对差别巨细、外形的尾灯的考证;正在现实行车时,会泛起前相邻车辆开启转向灯、前后车辆间隔过远形成前相邻车辆的尾部会泛起大面积反光、摄像机晃悠的状况,这几种滋扰状况下视觉考证也能够实现对尾灯的考证。
 
4. 实验效果
 
图 9  夜间火线车辆辨认
 
实验的硬件运转情况为 Intel 飞跃 E6500 CPU,软件情况包孕 Windows XP 体系,VC++ 6.0 集成开辟情况和 OpenCv 开源计算机视觉库 [14]。采集夜间道路上行驶车辆的视频数据,应用搭建的毫米波雷达取视觉体系停止辨认取判定。车辆检测的实行效果如表 2 所示。夜间情况条件下的火线车辆辨认结果如图 9 所示。
 
 
表 2  车辆检测的实行效果
 
经统计局部视频数据并取职员主观判定对照,个中包罗车辆图象共 1170 帧,辨认出车辆尾灯的图象共 1060 帧,准确率达 90.6%。因而,本文要领正在夜间情况下具有较好的检测结果;车辆所处情况的光照前提较差,存在路灯、空中反光等滋扰光源,且路灯取车灯类似,但检测体系仍能够正确辨认车辆尾灯,符号出车灯位置。
 
5. 结论
实验注解经由过程雷达能够肯定火线车辆的间隔、速度等信息,并构成感兴趣地区。正在感兴趣区域内接纳基于机械视觉的图象信息考证车辆,这不仅能够削减外界情况的滋扰,借能够缩小磨练局限,削减盘算量。
 
实验效果注解:研讨运用的毫米波雷达和机械视觉融会的要领能够有用辨认夜间火线车辆。该要领关于差别外形的车辆尾灯具有很好的辨认结果。因为车尾灯堆叠或遮挡会发作考证失误,那是下一步研讨的重点。
 

 

 

关于我们
公司引见
声誉和天资
人材理念
联系方式
产物中央
高空安防系列产品
雷达系列产品
电子战系列产品
批示信息系统
激光电子设备
新闻中心
行业新闻
公司消息
胜利案例
合作伙伴
联系方式
地点:北京市海淀区永丰基地永丰科技企业加速器(二区)1号楼 101
电话:010-58711125 传真:010-58711699
手机:18601092295 18601092285 18601092565
邮箱:sales@ruidaen.com
京ICP备17016701号 网站管理
澳门葡京游戏