BSD、DMS、数字孪生大屏都齐了，无人矿卡还差哪一步
无人矿卡的传感器越配越全。车前、车后、左右各一个超广角夜视摄像头，再加上一个正对驾驶员脸的DMS摄像头，五路画面一起进主机。
但真在中控室里盯过车的人知道，五路画面平铺在一块屏上还没完，今天和大家聊一聊BSD、DMS、数字孪生大屏都齐了，无人矿卡到底还差哪一步？矿卡的多视角监控，目前主流是BSD加360°环视、DMS、远程平台这三层，不同厂商在配置上各有侧重，骨架差别不大。车前、后、左、右四个超广角高清夜视摄像头，合成车身360°俯视全景图，先把庞大车身带来的盲区消掉。AI算法实时识别盲区里的行人、非机动车、石块这类障碍物，目标一进预警区，车内屏幕边框变色加语音提醒，车外的声光报警器同步闪烁播报"大车盲区，危险请远离"。部分系统支持3D环视，会按识别目标在车辆周围的相对位置生成一个小人模型，直接告诉司机人在哪个方位。车内摄像头持续识别疲劳闭眼、打哈欠、低头分心、手持手机、抽烟、未系安全带这些行为。抓到就语音告警，异常记录连视频一起存档，方便后台追溯。一套主机同时处理4路BSD外加1路DMS，五路画面同步采集、同屏显示，不用多套设备拼起来。但五路画面到了中控室，调度员要面对的是这样的状态。画面是平的，位置不在画面里；视角之间没有空间关系；摄像头看不见全局；多车监控时，画面更繁杂，完全没有重点。视频融合要解决的，就是上面衍生的问题。做法是把摄像头画面按真实位置投影回三维场景中，也就是本期重点：视频融合功能。在场景里把视频融合工具拖进来，用鼠标左键在地面点击，画出这块监控画面要覆盖的范围。然后指定视频路径，网络地址、视频流地址、本地视频地址都支持。再通过缩放和旋转角度，让视频里的东西和场景里的物体对上。
- 渲染层级：多个融合视频叠在一起时，决定谁在前谁在后
- 关闭对象：把不需要被投射的东西排除掉，比如地面上的矿卡本身，别让投影糊在自己车顶上
2.0和基础版的根本差别在于，它不再是贴一张图，而是在场景里放一台摄像机。工具按现实中摄像头的安装位置拖进场景，旋转调整监控角度。勾选投影视角后，把监控视频贴合到场景对应的位置。这八个参数一调完，就是把平面视频和三维模型对齐到同一套空间关系里。第一个变化最直观，监控画面覆盖的那条运输道路就是那条路，报警框出现在场景的哪个位置，人和车就在哪个位置。第二个变化则是视频和三维模型开始互补。摄像头看得清地面上的石头、积水、人，三维模型知道整张路网融合之后，两者在同一帧里，不用左右对照。
第三个变化，雷达扫描波、障碍物高亮框、路线指引与偏航预警、电铲视角。这些特效原本是叠加在单独的二维画面或者一个空场景上的；有了融合，它们直接叠在真实监控画面上，位置和现实对得上。这也是为什么自动避障那套逻辑必须先看清"这块画面属于哪段路"，才有后面路线重规划和限速可言。最后是远程接管。5G远端一个模拟驾驶舱监控多辆车，单视角和360°多视角来回切的时候，画面和空间位置始终咬得住，不会因为切了视角就丢掉方位感。
此外，最好还得按照位置区域进行分区融合，突出重点：此外，视频融合好之后还要将视频流延迟和三维渲染帧率要一起看。无人矿卡的监控体系里，摄像头数量早就不是瓶颈，四路环视加一路DMS，各家硬件配置已经相当接近，可以说是没啥差别。要说真正拉开差距的，是画面进到中控室之后还有没有下一步处理。若只停在分屏阶段，装再多摄像头也只是多几块屏；但若是把画面融合进三维场景，五块屏才合成一张图，才是真正能达成无人矿卡的能力上限。
