在自动驾驶环境感知系统中，毫米波雷达与视觉传感器的融合是提供冗余性和鲁棒性的重要技术路径。传统后融合方案分别对两种传感器的独立检测结果进行关联和合并，这种方法保留了各传感器原有算法的独立性和可解释性，但后融合的性能上限受限于各传感器各自处理过程中已发生的信息损失。毫米波雷达的恒虚警检测和视觉的目标检测均对原始数据进行筛选和压缩，在此过程中可能丢失微弱的、暂时无法分类的目标信息，而这些信息在另一种传感器模态中可能易于识别。前融合架构在原始数据层面进行联合处理，直接将雷达的回波数据和视觉的图像像素输入统一模型，由模型自主学习两种模态之间的互补关系。前融合的关键前提是原始数据的精确对齐，因为毫米波雷达在极坐标下提供距离和角度信息，其扫描周期与视觉传感器的帧周期存在相位差，两者在三维空间中的视场覆盖范围也不完全相同。原始数据对齐需要在时间域上将雷达采集时刻和视觉曝光时刻同步至同一时间基准，在空间域上将雷达极坐标点投影至图像像素坐标，两者的对齐精度直接影响融合模型提取有效特征的能力。时空同步的设计需要权衡同步精度和系统延迟，过高的同步要求会增加传感器硬件的成本，过低的同步误差则会削弱前融合带来的性能增益。
原始数据对齐的时间同步方案基于统一的时钟源提供全局参考时间。毫米波雷达的每帧数据包含多个目标检测点的相对距离和速度信息，其采集时刻为每个调频连续波周期的起始时间，视觉传感器的每帧图像曝光时刻由卷帘快门或全局快门的触发信号决定。时间同步模块将两种传感器的时间戳换算至统一时钟基准，确定雷达帧和图像帧在时间轴上的对应关系。当两种传感器的采集时刻不一致时，系统采用线性插值方法将雷达检测点外推或内插至图像帧的曝光时刻。插值过程需要利用目标的速度矢量进行运动补偿，因为雷达在短时间内采集到的多个点可能对应不同时刻的目标位置，直接按采集时刻进行插值会引入位置误差。运动补偿由雷达的多普勒速度测量值和目标在连续帧间的角度变化率计算得到，在目标匀速直线运动的假设下将各检测点的位置修正至同一时刻。对于包含加速或转弯的运动模式，匀速假设引入的补偿残差在短时间插值窗口内保持在可接受范围，系统通过限制同步窗口的长度来控制残差的增长幅度。时间同步精度的评估通过将角反射器放置在固定位置进行，比较同步处理后雷达检测点的位置与图像中反射器的像素位置之间的时间一致性，评估结果用于确定插值窗口的最大允许长度。
空间对齐涉及雷达坐标系与相机坐标系之间的转换关系确定。雷达极坐标下的目标距离和方位角需先转换为以雷达天线相位中心为原点的三维空间直角坐标，再通过旋转和平移变换映射至相机坐标系。旋转矩阵和平移向量通过标定方法确定，标定过程使用在两者视场重叠区域布置的棋盘格或角反射器阵列，采集多组雷达检测点和图像角点数据，求解使两组数据映射误差最小的刚体变换参数。标定的精度受限于雷达角度分辨率和图像像素分辨率的量级差异，毫米波雷达在远距离上的角度误差投影至图像平面可能对应数十个像素的偏差，这一偏差对融合算法中小目标检测的影响大于对大目标检测的影响。空间对齐的误差补偿通过在线校准方式动态修正，系统利用行驶过程中静止目标的雷达回波和视觉特征点的对应关系，估计当前帧的旋转矩阵偏差并进行补偿。在线校准适用于车辆载重变化或悬架高度调整引起的传感器朝向漂移，但其收敛速度较慢且需要足够的静止目标作为参考。对于精度要求更高的前融合应用，系统额外配备高精度惯性测量单元提供车辆姿态变化信息，作为在线校准的先验约束加速收敛并提升补偿精度。
在实现同步与对齐后，前融合感知模型将雷达原始点云和视觉图像输入特征提取网络。雷达点云的特征提取采用基于点的空间结构编码方法，将每个检测点的距离、角度、速度和反射强度编码为多维特征向量，通过集合聚合操作提取局部邻域内点的空间分布模式。视觉图像的特征提取采用卷积神经网络结构，在图像经过多层卷积和池化后获得具有语义信息的特征图。两种模态的特征在空间对齐的约束下进行互相关联，将雷达特征向量投影至图像特征图中的对应位置，形成融合特征张量。融合特征张量同时包含来自雷达测距测速的精确空间信息和来自视觉纹理色彩的环境语义信息。模型采用基于注意力机制的模态间交互层，使雷达特征能够根据图像内容调整其权重分布，视觉特征也能根据雷达检测到的障碍物位置进行针对性提取。注意力机制中的查询和键矩阵分别来自两种模态的特征，其点积结果经过归一化后作为权重值对特征进行重新校准，使模型在融合过程中自适应地突出对当前环境最有用的模态。
前融合模型的处理时延是实际部署中需要严格控制的参数。端到端的前融合推理包含了两个特征提取网络和特征融合层的计算，其计算量高于任何单一传感器的后融合方案。系统在模型架构设计中采用轻量化的特征提取网络作为主干，减少网络的深度和通道数以压缩浮点运算量。精度与速度的折中通过可调节的模型缩放因子实现，在高速行驶场景中系统将缩放因子调小以优先保证处理帧率，在低速场景中恢复至标准缩放因子以追求精度上限。原始数据的输入分辨率也对处理时延有直接影响，系统根据当前处理器的负载状态动态调整雷达点云的采样密度和图像的下采样比例，在处理器负载过高时主动降低输入维度，使推理能够持续稳定在目标帧率以上。前融合感知系统输出的检测结果通过下游跟踪和预测模块进行时域滤波，消除因单帧融合噪声引入的虚警，并将输出位置的时间戳补偿至当前时刻，以抵消除数据采集和处理链路的总延迟。
前融合感知技术在真实道路环境中的适用性评估需要在多种天气和光照条件下进行验证测试。雨雾天气中毫米波雷达的探测性能受降水影响较小但多径反射增加，视觉传感器在低照度条件下的信噪比下降，两者在前融合框架下的互补效果比后融合更为明显，因为原始数据层面的联合处理允许模型在特征提取阶段就利用雷达的穿透能力补偿视觉的退化。夜间场景中视觉的彩色纹理信息减弱但灰度边缘信息仍可用，前融合模型的注意力机制自动降低对颜色特征的依赖，增加对雷达距离和多普勒特征的依赖程度。系统在每种测试条件下均记录检测准确率和定位精度，与单一传感器及后融合方案进行对比评估。测试结果表明前融合方案在各类条件下的综合性能均优于后融合方案，其优势在雨雾和夜间等恶劣环境中更加突出，这验证了原始数据对齐与时空同步在前融合技术中的基础性作用及其对整体感知性能提升的有效贡献。
