自动驾驶感知系统的发展趋势正从单一传感器向多传感器融合方向演进。在各类传感器中，毫米波雷达与视觉摄像头是互补性最强的组合：雷达提供精确的距离与速度测量，不受光照与天气影响，但点云稀疏且缺乏纹理信息，难以完成目标分类；视觉摄像头提供丰富的颜色与纹理信息，具备目标识别能力，但深度估计精度随距离增加而下降，且对雨雾与逆光敏感。两种传感器的融合策略在架构层面存在前融合与后融合的区分。后融合方案在每种传感器各自完成目标检测与跟踪后，将各自输出的目标列表进行关联与合并。这种方案的优势在于传感器之间的独立性，任一传感器故障不影响其他传感器的数据处理流程，但其信息损失在传感器端检测阶段已经发生。前融合方案在原始数据层面进行对齐与联合处理，雷达的原始点云与视觉的原始像素数据经过时空同步后共同输入融合网络，网络在特征提取阶段即可利用两种模态的互补信息，避免了后融合中因各自检测算法的偏好与误差导致的融合损失。
原始数据级前融合在时间维度上的核心挑战在于雷达与视觉传感器具有不同的数据输出时刻与频率。视觉摄像头通常以固定帧率输出图像，帧间隔由曝光时间与读出时间决定，在低光照条件下曝光时间延长使帧率下降且每帧的采集时刻在时间轴上分布不均匀。雷达的输出周期由调频连续波的扫描周期决定，其输出频率可能高于或低于摄像头的帧频，两种数据流之间不存在自然的帧对帧对应关系。时间同步的实现路径包括硬同步与软同步两种方案。硬同步通过共用同一时钟源并引入同步触发信号，使雷达与摄像头在相同时刻开始采集数据，雷达每帧的扫描起始时刻与摄像头每帧的曝光起始时刻在系统时钟的调度下对齐。硬同步要求传感器硬件接口支持外部触发模式，且触发电平的传输路径长度需保持等长以避免触发信号到达时刻的偏差。软同步采用时间戳插值方法，每个数据包在产生时由本地时钟记录时刻戳，融合模块将不同传感器的数据包按照时刻戳重新排列，在目标时刻所需的数据通过插值算法从前后最近的数据样本中推算。软同步的精度受限于传感器内部处理流水线的延迟稳定性，雷达从回波采集到点云输出的延迟与摄像头从曝光结束到像素数据传输完毕的延迟如果存在波动，则时间戳与实际采集时刻的偏差使同步精度下降。
空间维度上的对齐要求将雷达点云从雷达坐标系投影至视觉图像的像素坐标系。投影变换包含旋转矩阵与平移向量组成的刚体变换，以及基于摄像头内参的透视投影变换。旋转矩阵与平移向量的取值由雷达与摄像头在车辆上的安装位置与朝向决定，安装过程中对两个传感器进行精确的机械固定与测量。实际安装位置与设计值之间的偏差不可避免，人工测量的角度误差可能在车辆前方远距离处产生像素级的投影偏移。标定程序通过采集同一场景下雷达点云与视觉图像中的对应特征点对来求解投影变换的精确参数。标定目标通常是包含多个角反或金属球体的标定板，角反在雷达点云中呈现为高反射强度点，在图像中对应为可视标记点的中心位置。标定算法收集多组点对后使用最小二乘或随机抽样一致性方法估计投影矩阵。标定参数的精度在车辆长期运行中可能因振动或温度变化而退化，退化后的投影偏差使雷达点云在图像上的投影位置与真实目标边界错位，在融合处理中造成目标区域内的特征点被错误关联至背景区域。
时空同步完成后的原始数据对齐阶段，融合网络需要对对齐后的雷达点云与视觉图像进行特征提取。雷达点云经投影后得到稀疏的深度与速度投影图，图中仅包含有限数量的非零像素，对应雷达检测到目标的区域。视觉图像的密集像素包含丰富的纹理与边缘信息，但在深度维度上缺少直接测量值。前融合网络的基本结构在输入阶段将深度投影图与速度投影图作为额外的通道与视觉图像的色彩通道拼接，形成多通道输入张量。多通道输入使卷积神经网络在进行滤波操作时能够同时感知色彩梯度与深度突变，深度突变位置往往对应目标的物理边界，深度信息辅助视觉特征在纹理稀疏区域的边缘定位。速度通道提供目标运动方向与速度大小信息，在目标遮挡或部分露出时，速度信息辅助网络判断遮挡边界处像素的归属，区分前景目标与背景。融合网络的特征提取层会自主学习不同模态通道之间的相关性与相对权重，不需要人工设定融合规则，但要求训练数据集中包含时空对齐后的多模态数据标注，标注成本与质量直接决定了网络学习到的跨模态关联是否准确。
前融合策略在实际部署中面临的感知鲁棒性问题主要源于传感器工作条件的非理想性。雨雪天气下雷达性能所受影响远小于视觉摄像头，但雨滴可能对雷达信号产生散射，在点云中引入杂波点。杂波点在投影后分布于图像各处，融合网络如果缺乏对杂波模式的判别能力，可能将杂波点与视觉特征错误关联，在目标检测输出中产生虚警。摄像头镜头被污物遮挡或起雾时，图像局部区域的纹理消失，此时融合网络对雷达信息的依赖权重应相应增加。自适应权重调整机制可根据输入数据质量的在线评估结果动态改变特征融合阶段的加权策略，而非使用训练阶段学习到的固定融合权重。数据质量评估指标包括雷达点云的信噪比分布与视觉图像的对比度统计量，低对比度区域对应的视觉特征可信度下降，融合网络在该区域更侧重于雷达提供的距离与速度信息。自适应权重在模型推理阶段实现，无需重新训练，但需在网络结构中预先设计权重调制接口，使外部质量评估结果能够以特征掩码的形式注入网络的中间层。前融合策略与后融合策略在工业界的应用取舍还取决于计算资源与系统冗余要求。前融合网络在输入端即完成对齐，后续所有处理共享统一的特征空间，计算效率较高，不需要为每种传感器维护独立的检测流水线。共享的特征空间也使融合网络中参数总量低于分开处理再融合的架构，因为前期的特征提取层得以复用。前融合架构的缺陷在于传感器数据之间的耦合程度高，雷达或摄像头任一通道的数据异常会扩散至整个融合网络，而网络缺乏内部机制来识别异常来源并进行降级处理。系统设计者为应对此问题在融合网络旁保留了一种传感器单独工作的备用处理通道，当融合网络的输出置信度持续低于阈值时，系统切换至备用通道进行应急感知。备用通道的性能低于融合模式，但保证了在单一传感器失效时感知系统仍能提供基础功能输出。原始数据级对齐与时空同步构成了前融合策略的技术基础，但前融合策略的感知鲁棒性最终取决于融合网络对传感器数据异常的容忍能力与降级策略的完备性，这些因素共同决定了前融合方案在实际道路环境中的可靠表现。
