引言
目前,智能驾驶技术在汽车领域得到了广泛的应用。但是在实际生活中,智能驾驶汽车所产生的交通事故屡见不鲜,其中,有很大比例的交通事故均为正面碰撞。因此,更加精确和具有更鲁棒性的车辆感知技术成为智能驾驶领域的重点之一。
尽管业界在不断的提升智能车辆中感知设备的性能,但在复杂多变的路况和恶劣的天气条件下,感知性能仍受到较大限制。如图1所示,黄色车辆由于受到前方车辆的影响而无法感知到处在物理检测范围以外的红色车辆,这很可能会导致交通事故的发生。其次,为了安全增加的感知设备所带来的成本提升与多设备之间的互相干扰问题也值得考虑。除此之外,协作感知的方法,也会因低延迟、高带宽的数据交换要求和数据隐私、互相信任协议无法确保及时性的数据交换而难以应用。
图1 智能车辆视野受限的例子
系统整体介绍
论文中提出新设计:增强智能驾驶车辆感知(Enhancing perception for Intelligent Vehicle,EIV)。该设计通过识别检测出不同智能车辆的电磁泄漏从而区分不同的车辆,同时可以根据信号的强弱检测出外界车辆的位置和距离。该技术主要解决了三个难题:
1. 由于电磁兼容规定和监管要求,每个车辆产生的内存电磁泄漏信号很弱且很容易被外界噪声影响(信噪比较低),如何在众多信号中识别出智能车辆的EMR信号十分困难。
2. 如何从信号中正确识别出不同车辆的内存电磁泄漏。
3. 城市交通环境中的无线信号的传播存在着多径效应和阴影效应,如何正确识别出外界车辆的方位。
图2展示了EIV系统的整体架构,三部分分别对应解决上述三个难题。第一部分用于增强电磁辐射信号,包含信号预处理、卡尔曼滤波、短时傅里叶变换、折叠算法,最终得到一个增强的电磁辐射序列;第二部分是指纹识别,首先构建电磁辐射设备的数据库,在此基础上配合微多普勒特征构建车辆的数据库。第三部分是车辆定位,利用RSSI特征和支持向量机进行分类,实现车辆区域的判定和异常检测。下面将从这三部分分别介绍系统的设计细节。
图2 系统整体架构
电磁辐射与信号增强的相关技术研究
1.内存的电磁辐射泄露
图3所展示的是现代车辆的智能驾驶系统。感知模块和定位模块在获取信息后需要先传输至SOC的内存中,而后CPU、GPU/NPU会从内存模块中获取数据并进行运算并做出决策。由于智能车辆需要实时通过雷达等设备获取外界感知信息,故各模块与内存模块的数据传输量极大,使得内存模块总是处于高负载状态。车辆的内存模块主要采用DRAM,DRAM具有低成本、低能耗、大容量和高效率的特点。经过调查发现,大部分车辆都是用先进的SOC,并且内置DDR内存。
图3 现代车辆的智能驾驶系统
2.扩频时钟技术
3. 卡尔曼滤波
由于存在大量的外界噪音,所以直接提取得到的信号信噪比较低,难以直接分离出内存EMR信号。卡尔曼滤波器(Kalman Filter)是一种广泛应用于估计线性动态系统状态的递归算法。它以高斯噪声假设为基础,通过对系统的当前状态和观测数据进行预测与更新,提供对系统状态的最优估计。卡尔曼滤波器可以用来提高信号的信噪比。
4. 折叠算法
在处理内存的EMR信号时,信号通常是周期性的,带有谐波成分。由于信号较弱且被噪声淹没,直接提取这些信号比较困难。这就可以使用折叠算法。折叠算法通过将周期性的信号能量累积起来,增强信号的强度,使得信号的信噪比提高,便于后续的检测和分析。其核心思想是增强信号中重复出现的成分,并同时降低随机噪声的影响,步骤如下:
1) 设定窗口:首先选取一个滑动窗口的大小,这个窗口的长度与信号的周期性成分相对应,通常是内存时钟信号的基本频率或其谐波频率的整数倍。
2) 信号对齐:将信号分段,按窗口长度对信号进行划分。这些分段可以理解为每个周期的信号。
3) 能量累加:对于每个分段的信号,计算它们的谐波分量,并将这些分量累加。由于这些谐波分量具有相同的周期性,它们的能量会相互叠加。
目前,智能驾驶技术在汽车领域得到了广泛的应用。但是在实际生活中,智能驾驶汽车所产生的交通事故屡见不鲜,其中,有很大比例的交通事故均为正面碰撞。因此,更加精确和更具有鲁棒性的车辆感知技术成为智能驾驶领域的重点之一。在上篇中,对论文提出的EIV系统的整体架构进行了大致的介绍,并详细讲解了系统第一个部分所用到的技术。接下来将对剩下的两个部分:指纹识别和车辆定位的相关技术进行讲解,并给出其实验结果和评估,最后对该论文所作出的成果进行总结。
图1 系统整体架构
指纹锁定的相关技术研究
1. 频移指纹
由于包含DDR内存的电子设备都会产生EMR,且车辆感知要求低成本、高效率和快速响应,这就无法为每种内存类型训练一个专门的分类器。电子设备中的EMR主要来源于CPU、ADC和内存。这些设备工作时产生的频率具有不同的特征,结合这些特征差异,可以从静态特征和动态特征对EMR进行分析并区分。静态特征包括内存固有的中心工作频率和谐波间隔,动态特征则是由于制造缺陷和热效应所赋予的谐波之间独特的频率漂移指纹。即使是相同的存储芯片,在不同设备的操作条件下也表现出足够不同的指纹。
图2展示了来自两台不同设备的四个谐波分量在时间上的中心频率-时间图。可以观察到,来自同一设备的谐波频率变化趋势有一定的关联性,而不同设备的频率变化具有明显的差异。因此,内存电磁辐射谐波的中心频率波动趋势(频漂)可以用于设备识别和评估环境中的内存EMR信号数量。通过将测得的频谱变化与已知设备的特定的内存EMR频漂指纹匹配,即便在复杂的环境中也可以将内存电磁辐射分量隔离出来,进行下一步分析。
图2 谐波分量频率时间图
2. 随机森林分类器
为了确定附近内存EMR信号的数量,文中使用随机森林作为多类分类器,根据频率自相关指纹对信号进行设备聚类。对于一个可疑的内存电磁EMR,提取一段频率域数据,并计算相邻频率分量之间的自相关系数(AC)。输入特征为一组频带的自相关系数,输出为将信号分类到某个设备指纹集群的预测标签。随机森林汇总来自多个决策树的预测结果。然后,将这些自相关系数输入到随机森林分类器中。自相关系数可以表示为:
图3 谐波分量的频域自相关系数表现出独特的指纹
3. 微多普勒特征
除了动态特征和静态特征外,实际检测到的结果中还包含微多普勒效应。车辆独特的轮胎组件和车身结构在行驶过程中会引发独特的微运动。这些微运动(不仅仅是车辆的整体移动,还包括底盘部件的振动、旋转和速度变化)会在接收到的无线电信号中引发可测量的多普勒频移,称为微多普勒效应。通过信号处理技术对车辆内存电磁EMR中的微多普勒特征进行准确分析,生成微多普勒特征,进而对复杂信号环境中的车辆发射的EMR信号进行区分,并根据它们的动态特征识别不同类型和型号的车辆。具体分析方法如下:
图4 车轮结构模型
车辆定位相关技术研究
1.RSSI提取
图5 天线组位置及分类区域示意图
当用户的车辆启动时,通过接收天线扫描所有内存的工作频段,检查是否包含本车辆的内存EMR信号。将接收到的射频信号向下转换为基带同相(I)和正交(Q)信号,生成复值IQ样本进行进一步处理。IQ信号是通过将接收到的射频波形与正弦和余弦局部振荡器混合而形成的,分别产生I分量和Q分量。IQ表示可以方便地处理复杂域内的调制信号,同时保留振幅和相位信息。我们通过对接收到的IQ信号进行积分来获得RSSI估计值。然后在一个滑动时间窗口上取RSSI值的平均值,以平滑波动。
2. SVM分类
然后,使用每个区域的预先测量的RSSI曲线作为初始基线,与捕获的内存EMR信号的RSSI曲线进行分类训练。在此过程中,区域划分采用一位有效编码,最终将内存EMR信号标记在某个感知区域上。分类模型选择支持向量机(SVM),由于信号的多径效应和不可预见的遮挡,复杂的自然驾驶环境的RSSI值是不稳定的。然而,对于不同类型的驾驶威胁,RSSI曲线的变化趋势相对稳定。通过计算DTW距离,可以得到目标车辆的移动情况来判断危险。此外,初始基线样本量可能会很大,这对于原始结构的SVM分类器来说是一个不可忽视的挑战。DTW不需要大量的数据样本,但它需要存储所有的训练数据,空间占用和测试时间消耗随着训练数据量的增加呈现线性增加。论文中设计了一个基于DTW的特定核函数以避免初始训练数据的不足。从长远来看,基于DTW核函数的SVM分类模型可以避免高占用率和耗时性的缺陷。我们将其定义为PRDT-SVM,公式如下:
实验评估与总结
论文中使用20辆智能车辆来进行测试,在城市道路上行驶速度30km/h,在郊区道路上40km/h。与EIV进行对比的智能检测系统为:
CAV:当前的CAV实现主要利用网络链接来访问高清地图数据、实时天气、交通更新和后端计算功能。它代表了单个自动驾驶车辆的基线感知能力。我们进一步比较边缘辅助多车辆感知系统(EMP)。
EMP:指的是本文提出的边缘辅助多车辆感知系统。它利用附近多辆车辆共享的传感器数据,并在边缘将它们合并以增强感知。
结果如下列图所示,在回归率、精度和延迟上EIV都有着非常不错的性能:
图6 实验结果
智能汽车的感知问题一直是自动驾驶中迫切需要解决的问题。论文中提出了一种新的自动驾驶车辆感知系统EIV,克服了摄像头检测的视野遮挡问题并且具有不错的性能。EIV是第一次在这种情境下探索智能车辆的检测和定位的系统,具有一定的意义。对于其他的电子设备,也许同样可以采用论文中的方法来进行检测和定位。当然,这种检测和定位方法也存在着使用对象的限制,EIV只是能检测和定位智能汽车上SOC的内存EMR信号,现实中还存在着传统的燃油车、行人、自行车和摩托车这些交通参与对象,这些对象不太可能产生电磁泄漏,也就无法进行识别,仍需依靠其他系统。
参考文献
[1] Qibo Zhang, Fanzi Zeng, Jingyang Hu, Zhu Xiao, Jiongjian Fang, Kejun Lei, and Hongbo Jiang. Enhancing perception for intelligent vehicles via electromagnetic leak-
age. IEEE Transactions on Intelligent Transportation Systems, 25(7):7029–7043, 2024.
作者:林财星 中国科学院信息工程研究所
责编:蔡北平
声明:本文来自中国保密协会科学技术分会,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。