Interactive Radar Sensors for a Holistic Cabin Experience

Neha Baheti和Avik Santra，英飞凌科技股份公司，德国慕尼黑

新型传感器技术可推动驾驶辅助系统、汽车自动化、汽车联网和出行服务方面的创新。随着驾驶自动化水平的提升，车内系统的彻底变革促使车外辅助系统变得更强大，从而打造出整体式的驾驶体验。本文主要讲述近程雷达传感器如何为一些汽车座舱传感应用赋能，即驾驶员监测系统和乘员监测系统。

人机交互（HMI）正在成为汽车制造厂家追求差异化的一个领域。汽车人机交互技术最早兴起于2015年，当时只是借助红外摄像头和MEMS触觉反馈系统来实现简单的手势感应。如今，这项技术已经在向完全个性化和超大数字显示屏发展，拜腾（Byton）的M-Byte 48英寸副驾驶位显示屏和戴姆勒的MBUX系统就是典型的例子。这些汽车仪表将彻底改变人车交互。

传感器在小型化、仪表盘内处理、能效和易于集成方面的进步，将推动雷达传感器和飞行时间传感器等更新、更先进的技术的发展。此外，传感器融合预示着未来的发展方向，比如，声音与手势结合以便可靠地预测用户的目标动作，当用户接近时照亮显示按钮，以及区分驾驶员和乘员的输入信息等。所需的信息、美学设计、环境因素和计算成本将定义针对特定用例的技术。相关用例有很多，包括但不限于手势感应等舒适性应用和被动安全应用。

据世界卫生组织统计，每年大约有130万人死于交通事故¹，其中73%的事故是人为失误造成的。据美国国家高速公路交通安全管理局统计，每年有50多名儿童因为滞留在车内中暑而死。²欧盟和东盟的新车验收计划已在采取措施引进儿童存在检测系统和驾驶员监测系统。美国汽车制造商联盟已于2019年9月签署了关于后座提醒系统的自愿协议；³与此同时，联合国欧洲经济委员会的第16号法规全面描述了欧盟和日本等国的安全带提醒和约束系统功能标准。⁴因此，在法律法规的推动下，创新的座舱内被动安全应用正为道路安全带来改变。

雷达处理——新的转变

无线电探测和测距（雷达）的工作原理是发射电磁波，再接收物体反射回的电磁波。与物体有关的大部分信息都藏在雷达接收到的电磁波的相位和频率中。这些信息可以很容易被提取出来用于定位目标的距离、角度和速度等基本参数。通过二维和三维信号转换（如距离多普勒或微多普勒）可以获得更多的信息，以了解细微的身体动作，甚至是由于心跳和呼吸而引起的胸部运动（见图1）。为了分类，也可以利用雷达点云图。

图1：雷达信号处理模块。

雷达特有的一些优势在于，它能够在不依赖于光线条件的情况下从外形角度感知物体，能够通过内在的编码信息来维护数据隐私，同时在视线和非视线条件下都能工作。但它的应用取决于特定的用例。下面将围绕一些实例展开讨论。

驾驶员监测系统

对于驾驶员监测系统而言，目前最先进的传感器技术是2D摄像头。这些摄像头一般直接安装在驾驶员前方的方向盘或仪表盘上靠近时速表和转速表的位置。在极其需要整体地了解驾驶员的生理健康状况的场合——譬如，在交通拥堵场景下，可能需要采取多传感器结合的方法来实现二级以上的自动驾驶。表1总结了适用于不同用例的一些方法。

在标准的雷达生命体征信号处理流程中，需要用到雷达干涉测量技术来监测被检测目标的相位随时间的变化。^{6, 7}在对距离进行快速傅里叶变换（FFT）处理之后，可以通过常规的1D CFAR技术结合距离谱（range spectrum）上的峰值搜索，或者以峰均功率比（PAPR，即在每个潜在目标的距离区间（range bin）内的慢时间域内的峰值与平均功率之比）作为指标来选择潜在的目标。对于静止的目标，FFT峰值与慢时间域内的FFT谱的平均值接近；而如果是振动的目标——譬如心跳或呼吸，平均值非常小，使得PAPR很大。

目标的距离区间预选之后，可以通过两种方式进行生命体征多普勒检测：一、估算IQ数据在慢时间域内的标准差，看它是否位于规定值的范围内；二、如果在生命体征频率范围（0.2-3.3 Hz）内没有能量峰值，则利用距离谱进行度量。因为白噪声会使错误信号被当成有效信号，所以在让信号通过带通滤波器以过滤掉静态目标之前，多普勒检测是非常重要的一个步骤。

完成生命体征检测之后，再用椭圆重建算法来校正达到上述标准距离区间的IQ数据，以消除由硬件缺陷造成的偏移、相位和振幅不平衡。通过将椭圆映射到正圆上，椭圆重建可以帮助消除这些振幅和相位偏移。⁸图2所示为椭圆重建算法用于正常生命体征目标时（图2a）和随机的身体动作干扰重建的IQ信号时（图2b）的输出图。⁹

图2：以正圆作为对比的归一化的I/Q曲线，分别显示正常生命体征数据（a）和被随机的身体动作干扰的数据（b）。

接下来，得到的信号相位通过相位展开模块从它的2π倍数中重建波的原始真实相位。对于大于-π或+π的相位跃变，分别需要加上或减去2π。展开的相位包含位移信号：

其中：λ是载波波长，ϕ(t)是慢时间域内提取的相位。

由此得到的位移信号包含呼吸信号和心率信号的叠加。让该位移信号通过带通滤波器，以在起始频率和终止频率分别为0.2Hz和0.4Hz时估算出呼吸频率；分别为0.8Hz和3Hz时估算出心率。¹⁰估算呼吸频率或心率的方法有很多种，其中包括：

1、距离谱估计技术需要对过滤后的位移信号进行快速傅里叶变换（FFT）。通过FFT距离谱中的心率和呼吸频率的峰值，可以分别估计出心率和呼吸频率。图3即为利用距离谱分析方法进行的生命体征频率估计。

图3：通过FFT谱分析估计呼吸频率和心率

2、通过统计过滤后的时域位移信号中的峰值估计呼吸频率和心率。图4是通过对过滤后的时域数据进行峰值统计来估计生命体征频率。红色三角形表示在心跳信号窗口中检测到的峰值。

图4：通过对过滤后的时域心跳信号进行峰值统计来估计心率。

图5总结了通过先进的信号处理技术来提取和估计生命体征信号频率的总体处理流程。

图5：利用FMCW雷达进行生命信号提取和估计的处理流程。

乘员监测系统

相比驾驶员监测，乘员监测是个相对较新的概念。通过乘员监测获得的信息可用于开启座椅加热、安全带报警检测、智能安全气囊部署、人员滞留报警和自动空调系统（表2）。乘员监测系统在车辆熄火之后可能还需要开启一段时间，所以系统的总功耗可能是设计时必须考虑的一个重要因素。

利用雷达探测儿童的存在并进行定位存在一些挑战。它需要对每个物体进行多次探测，但雷达点云图数据相比飞行时间或摄像头数据是不充分的。图6呈现了用于后座乘员监测分析的3D雷达定点探测和分类处理流程。第一步是距离处理，即利用1D FFT将快时间数据转换成距离区间。利用窗口函数处理快时间数据，然后选择性地补零：

其中：Z代表快时间补零，N_s代表快时间域内的模数转换器样本数目，r(l)和w(l)分别代表样本值和窗口函数，而R_iⁿ表示i^th啁啾和n^th距离区间中的距离谱值。

图6：距离、仰角和方位角处理，与后面两个信号处理路径相结合，以实现3D点云图数据的探测、聚类和分类。

先对所有啁啾进行快时间FFT，然后进行慢时间滤波，以过滤掉静态目标和速度大于5Hz的目标，然后检测人的生命体征信号。按照虚拟天线的位置，沿着仰角ϕ和方位角θ将N_tx×N_rx距离谱堆叠成一个矩阵。通过Tx阵列a_Tx(θ,ϕ)的导向矢量和Rx阵列a_Rx(θ,ϕ)的导向矢量的Kronecker积计算出有效阵列因子矩阵w(θ,ϕ)，然后用于计算所有距离区间的目标角度{θ _t,ϕ _t}^T_t=1。通过Capon波束成形器或最大似然估计生成每个距离区间沿着仰角ϕ和方位角θ的角度曲线。¹¹

生成3D雷达点云图之后，可以使用两种方法之一处理数据。一、先进行3D有序统计恒定虚警率（3D OS-CFAR）检测，接着对3D雷达数据体素（voxel）进行3D基于密度的空间聚类（DBSCAN），以对作为单人目标的数据点进行检测和聚类。二、深度学习方法，它需要将多普勒速度和雷达截面值注入PointNet¹²结构中，该结构属于能进行三维物体检测实例分割的神经网络。相比信号处理方法，PointNet不仅能进行3D边界框估计，还能区分被检测和聚类的目标是成人还是儿童。图7显示了儿童和成人的点云图区别，在儿童滞留感测和智能安全气囊部署应用中必须确定这一区别。

图7：车内被检测到的儿童（a）和成人（b）的点云图分布。

根据来自2D Capon算法的雷达点云图，3D深度神经网络的目标是，在3D空间中进行物体的分类和分割。雷达点云图用一系列三维的数据点来表示：

其中K代表所检测的目标点的数目。

分类任务的目标是区分儿童、成人、行李和空位。为了确保结果不因几何变换而发生改变，即点云图旋转不应改变分类或分割结果，须利用T-Net变换将输入特征向量转换成变换特征向量。这一操作如图8a所示，其中需要通过T-Net学习变换参数k×k运用k维度的n个点，该参数可以通过矩阵乘法运用到输入特征向量上，以得出输出/变换特征向量n_k。然后，vanilla PointNet再尝试通过多层感知（MLP）和汇总（max pooling）来拟合Hausdorff连续对称函数（图8b）。需要进行T-Net与vanilla PointNet的一系列组合才能实现DeepNet，以检测、区分和分割3D点云图并实现儿童感测。

图8：基于PointNet（a）和vanilla PointNet（b）的T-Net特征变换。

输入端的变换函数使得输入数据点不因几何变换而发生改变，而在中间层，输入嵌入向量也不因几何变换而改变。网络架构既包括分类网络也包括分割网络。分割网络将每个像素标记为它所属的类别，它先从局部和全局特征中再从vanilla PointNet的序列中获取输入信息。

美国和欧洲的座舱雷达系统的频率规定

由于座舱内的雷达应用是新近才有的，所以汽车界一直在探讨最合适的频谱。表3选取了大多是在系统平台提供商的推动下进行的一些监管工作。这些规定将因监管委员会随时的决定而发生改变。

结论

座舱传感是个新兴市场，预计会随着各地法规的出台而取得大踏步的发展。雷达被认为是一种极有潜力的技术，可用于解决包括被动安全应用在内的许多问题，比如滞留儿童检测和存在感测等。创新的信号处理和深度学习技术将使这些应用的可靠性更上一个台阶，从而在计算成本、特定用例所需的信息化程度和系统功耗之间取得完美平衡。未来，多传感器融合的方法应能通过实现传感器冗余来打造出更加完善和可靠的系统。

鸣谢

经授权，部分算法的内容和图表取自Artech House出版的《Deep Learning Applications of Short-Range Radars》一书。购买网址：https://us.artechhouse.com/Emerging-Deep-Learning-Applications-of-Short-Range-Radars-P2145.aspx.

参考文献

1.      “Global Status Report on Road Safety,” World Health Organization, 2018, Web. https://www.who.int/violence_injury_prevention/road_safety_status/2018/GSRRS2018_Summary_EN.pdf. (Date Accessed: 20 April 2020).

2.      “Child Vehicular Heatstroke Deaths per Year,” Kidandcar.org, Web. https://www.kidsandcars.org/how-kids-get-hurt/heat-stroke/. (Date Accessed : 20 April 2020).

3.      “Leading Automaker’s Commitment to Implement Rear Seat Reminder Systems,” Alliance of Automobile Manufacturers, September 2019, Web. https://autoalliance.org/wp-content/uploads/2019/09/Rear_Seat_Reminder_System_Voluntary_Agreement_September_4_2019-1.pdf. (Date Accessed: 23 April 2020).

4.      “Regulation No 16 of the Economic Commission for Europe of the United Nations (UN/ECE),” Web. https://op.europa.eu/en/publication-detail/-/publication/d13b01c3-4962-478b-a710-215ee6dae2cb/language-en. (Date Accessed :19 April 2020).

5.      K. Diederichs, A. Qiu and G. Shaker, “Wireless Biometric Individual Identification Utilizing Millimeter Waves,” IEEE Sensors Letters, Vol. 1, No. 1, February 2017.

6.      C. Li, Z. Peng, T. Y. Huang, T. Fan, F. K. Wang, T. S. Horng, J. M. Munoz-Ferreras, R. Gomez-Garcia, L. Ran and J. Lin, “A Review on Recent Progress of Portable Short-Range Noncontact Microwave Radar Systems,” IEEE Transactions on Microwave Theory and Techniques, Vol. 65, No. 5, May 2017, pp. 1692–1706.

7.      M. Alizadeh, G. Shaker, J. C. M De Almeida, P. P. Morita and S. Safavi-Naeini, “Remote Monitoring of Human Vital Signs Using mm-Wave FMCW Radar,” IEEE Access, Vol. 7, April 2019, pp. 54958–54968.

8.      A. Singh, X. Gao, E. Yavari, M. Zakrzewski, X. H. Cao, V. M. Lubecke and O. Boric-Lubecke, “Data-Based Quadrature Imbalance Compensation for a CW Doppler Radar System,” IEEE Transactions on Microwave Theory and Techniques, Vol. 61, No. 4, April 2013, pp.1718–1724.

9.      M. Arsalan, A. Santra and C. Will, “Improved Contactless Heartbeat Estimation in FMCW Radar via Kalman Filter Tracking,” IEEE Sensors Letters, March 2020.

10.   A. Santra, R. V. Ulaganathan and T. Finke, “Short-Range Millimetric-Wave Radar System for Occupancy Sensing Application,” IEEE Sensors Letters, Vol. 2, No. 3, September 2018.

11.   A. Santra, I. Nasr and J. Kim, “Reinventing Radar: The Power of 4D Sensing,” Microwave Journal, Vol. 61, No. 12, December 2018, pp. 26–38.

12.   12. C. R. Qi, H. Su, K. Mo and L. J. Guibas, “Pointnet: Deep Learning on Point Sets for 3D Classification and Segmentation,” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, July 2017.