基于胶轮列车全景环视系统的标定调试研究

基于胶轮列车全景环视系统的标定调试研究

刘汉

中车青岛四方机车车辆股份有限公司，山东省青岛市 266109

摘  要：全景环视系统是辅助司机安全行驶、消除胶轮列车车身四周盲区的关键系统，系统主要包括感知、采集、处理等硬件、环视算法软件和显示单元。针对胶轮列车全景环视系统设计，开展对现场标定调试的方法研究，并进行试验场地验证和实车验证，试验结果表明：通过现场标定调试后，系统能够有效且清晰地生成整车的全景环视图像，增强列车对运行环境的感知能力。

关键字：全景环视系统；图像拼接；显示优化

中图分类号："TP668（见附录 2）" 文献标识码："A（见附录 3）" 文献编号：" 可不填"

0引言

根据2020年9月中国城市轨道交通协会正式发布的《城市轨道交通分类》(T/CAMET 00001-2020)团体标准，电子导向快轨车辆已正式纳入城市轨道交通系列，属于城市道路营运车辆的一种[1]。城市道路交通事故发生的大多数原因是由于驾驶员缺乏对车体周围环境的了解而导致的操作失误。根据交通部门公布的数据显示，因视觉盲区导致的行车安全问题在所有安全事故中约占32%。

针对这一问题，日本最先在2006年提出了全景环视的发明专利[2]。本田汽车公司在2008年开发了环视系统，该系统采用4个普通的广角摄像机来获取车辆四周的图像，将获取到的图像转换成为俯视图像，呈现的是不完整的全景图像[3]。日本丰田汽车公司在雷克萨斯系列车型上应用了名为PVM的全景监控系统，该系统每两台相邻的摄像机具有重合区域，通过图像拼接技术取得了车身周围的全景效果[4]。国内的各高校、科研院所和汽车厂商也紧跟其发展的步伐，比如中国重汽集团针对多轴载重汽车环视系统的系统功能进行了详细说明，在充分考虑环境要求、可靠性的基础上设计了符合安全标准的系统结构，取得了很好地效果[5]。

实际应用中，因胶轮列车具有车身较长、视觉盲区多、车厢之间夹角大等特点，为满足盲区覆盖的要求，车身需加装8个摄像头进行图像采集，而相邻摄像头存在公共区域重叠，且鱼眼摄像头成像过程中存在严重的非线性畸变，车身四周桶形变形严重，如不做技术处理直接使用，则会影响司机判断。因此，胶轮列车全景环视系统采集的图像需要进行畸变矫正，进而再图像拼接之前进行标定，经调试标定后的图像进行拼接融合，达到车身四周图像检测。

本文主要结合全景环视系统设计架构，通过标定模块和自动化标定软件现场使用优化，对系统现场标定调试进行研究和实施。

1系统架构

1.1系统架构

全景环视系统一般根据车身长度配置多个鱼眼摄像头采集图像，并经过畸变矫正、透视变换、图像拼接得到最终的全景环视图像。

以三编组电子导向胶轮车辆为例，两个头车装配3个摄像头，覆盖两侧和前方的视野，中间车左右两侧各配置1个摄像头，完成对两侧视野的监控。该系统可以根据编组需求，在中间新增车辆的两侧各增加1个摄像头。

图1 摄像头配置方案示意图

系统架构分为硬件层、软件层和显示层。硬件层包括1台嵌入式控制器、8台鱼眼相机，用于采集图像。软件层包括标定模块和鸟瞰图生成软件模块，主要用于图像校正、图像拼接。显示层主要用于对鸟瞰图的色彩补偿、辅助信息叠加现实等优化工作。

1.2网络拓扑

图2 网络拓扑示意图

如图2所示，整车8个摄像头采集图像分为两部分，由两块视频采集设备进行采集，并供给全景环视主机进行图像处理，整车只需给环视主机供给24V电源。环视主机通过8芯千兆以太网接口连接至TCMS系统中，并通过RTSP推流至本地。当TCMS启动后，显示器自动拉流视频至显示屏上解码播放。整个解码延时不超过0.5s。

2软件模块

2.1标定算法模块

摄像头内参包括摄像头镜头参数，以像素单位表示的焦距，径向畸变系数，切向畸变系数，薄棱镜畸变系数。内参标定只需要用待标定的摄像头采集不同角度的多张标定板图片。内参标定的去畸变图如图3所示。

(a)内参标定GUI

(b)内参标定结果

图3 内参标定

外参标定是通过假设存在一个无透视变形的棋盘格图像，计算出该图像与原拍摄图像的单应性变换H矩阵，通过单应性变换H矩阵生成该无透视变形的棋盘格图像，并基于此完成角点检测，获得角点坐标信息，最后通过单应性逆变换，完成对原拍摄图像的角点检测。外参标定流程、标定结果和标定GUI界面如图4所示。

(a)外参标定流程图    (b)标定结果

(c)外参标定的GUI界面

图4 外参标定

2.2图像拼接算法模块

根据求出的摄像头外参、内参，结合图像拼接技术，进行透视投影计算出世界坐标对应的图像坐标的映射关系。后续视图拼接就可以直接通过查找该映射关系表进行。拼接流程如图5所示。

图5 图像拼接算法流程图

多车厢环视图像的生成主要由两部分组成：离线标定和动态全景环视图像生成。首先根据鱼眼相机畸变模型和标定场景生成用于将多幅鱼眼图像转换为俯视图的静态查找表；然后将车头和车厢间实时的铰接角度进行滤波处理后结合静态查找表生成动态查找表，从而实现一步变换完成鱼眼校正，逆透视变换与车辆转向时的图像配准，最后利用循环颜色调整法和透明度融合法对实时生成的变角度全景环视图像进行融合处理。

整个融合图像的拼接过程如图6所示。

图6 图像拼接过程

2.3图像优化模块

2.3.1拼接缝过渡

将第一节车厢图片右边拼接缝边缘部分乘一个weight权重矩阵，让图片像素权重开始慢慢减小，拼接缝部分主要采用第二节车厢的图片；第二节车厢图片乘一个weight权重矩阵，让图片右边权重慢慢减小，第三节车厢不变，可以大幅减小拼接缝优化的计算量。

2.3.2白平衡和亮度调整

由于安装在车身四周摄像机安装的高度和角度都各不相同，因此不同角度拍摄的图像对光源的感受程度是不一样的，最终图像的颜色亮度有差异。因此以最小化相邻拼接带中各通道亮度差异的范数为目标，采用奇异值分解计算最小二乘权重，补偿各相机的亮度差异，然后对俯瞰全景图做白平衡和Gamma矫正，以实时满足多个相机色彩和亮度的一致性，呈现高质量的拼接效果。

3效果验证

3.1试验场地验证

整个车身台架由数个可伸缩的部件构成，按照实车尺寸调整台架的长度与高度，并根据实际车辆中8个摄像头安装高度和横向位置，安装并固定摄像头。实际布置如图7所示。

（a）台架调整        （b）摄像头安装

图7 台架与摄像头安装

根据标定流程完成标定，并导入生成的查找表，完成车辆的全景环视效果验证，全景环视效果如图8所示。

图8 试验场地全景环视效果验证

3.2现车验证

依据试验场地验证效果，将摄像头布置在实车上进行验证，效果如图9所示。

图9 现车验证效果

4结论

本文介绍了电子导向胶轮列车的全景环视系统。该系统首先通过摄像头采集图像信息，经过标定模块去畸变后生成了鸟瞰图像，然后结合铰接盘角度信息，通过图像拼接模块实现了整车的鸟瞰图像拼接，最终利用显示优化模块得到了整车不同姿态下的全景环视影像。通过标定模块和自动化标定软件的现场标定调试验证，系统能够为非独立路权运行的多节编组的铰接式车辆提供全景影像，最大限度减少司机视野盲区，增强列车对运行环境的自主感知能力，提高列车运行安全性。

参考文献：

[1]中国城市轨道交通协会. 城市轨道交通分类：T/CAMET 00001—2020[S]. 北京：中国铁道出版社，2020.

[2]Kato K,Suzuki M,Fujita Y,etal. Image synthesis display method and apparatus for vehicle camera: US, US 7139412 B2[P]. 2006.

[3]张新宇. 大型特种车辆全景视频成像系统设计[D]. 中国运载火箭技术研究院,2019.

[4]陈泽茂. 基于全景视觉的汽车安全辅助驾驶系统的平台设计与实现[D]. 华南理工大学, 2014.

[5] 韩大伟,张岚,郭庆波,等. 多轴载重汽车360度环视系统的设计应用[J]. 重型汽车,2019,(03):26-27 .