南理工：大模型并非万能，长尾难题仍是智能辅助驾驶的“感知瓶颈”

随着商用车智能化进程不断深入，环境感知作为ADAS系统的“眼睛”，其精度与可靠性已成为制约场景落地的核心因素之一。尽管大模型等技术进展显著，但在真实路况中，复杂场景、极端案例与成本约束仍对感知系统提出严峻挑战，亟需学术界与产业界共同探索更鲁棒、可解释且易于部署的感知方案。

2025年9月12日，在盖世汽车主办的第五届智能商用车创新大会上，南京理工大学计算机科学与工程学院（人工智能学院）教授、博士生导师张姗姗重点探讨了商用车在环境感知与智能座舱领域面临的技术挑战及解决路径。她指出，尽管大模型在多数场景表现强大，但在边角案例如特殊交通标志识别中仍存在明显不足，需进一步优化感知模型。张姗姗介绍了其团队在智能辅助驾驶领域的长期研究，包括基于视觉的2D目标检测、恶劣天气与低光照环境下的感知增强，以及多模态三维感知与占用预测技术。她还强调了端到端智能辅助驾驶系统在部署调试与可解释性方面的局限，提出双系统互补的可能方案。

在车内感知方面，她提到行为识别、身份验证与三维重建等技术对提升驾乘体验的重要性。张姗姗表示，未来商用车领域需应对传感器部署成本、算力需求及长尾数据分布等挑战，需通过学界与工业界合作推动智能化进程。

张姗姗 | 南京理工大学计算机科学与工程学院（人工智能学院）教授、博士生导师

以下为演讲内容整理：

感知技术仍存长尾问题，大模型尚未解决所有难题

张姗姗指出，尽管大模型在多项任务中表现出色，但在面对不常见交通标志、复杂遮挡、恶劣天气等边角案例时，其识别能力仍显不足。她以一块标有“旅游大巴禁止右转”的非标准标志牌为例，指出多个主流大模型均未能正确识别，说明感知系统在泛化性与鲁棒性方面仍有提升空间。

她进一步强调，商用车场景中存在的遮挡、低光照、多目标交互等问题，进一步加大了感知难度。尤其在越野、军事等极端环境下，植被遮盖、伪装目标等场景对感知系统提出更高要求。

南理工团队深耕ADAS感知，推动多场景技术验证

张姗姗介绍，南京理工大学在ADAS领域拥有长期积累，自“八五”期间起便在杨静宇教授带领下参与国家重大项目，与清华、浙大等高校协同攻关。团队具备从城市道路到越野场景的全方位感知研究能力，并多次在无人车竞赛中获奖。

张姗姗自2016年回国后，持续推动与工业界的合作，早期在德国期间与奔驰、大陆集团、丰田等合作开展行人检测等项目，回国后与华为、一汽解放、地平线等企业也建立了深入合作关系。

从2D检测到占用网络，感知技术向三维化、端到端演进

张姗姗回顾了团队在视觉感知方面的研究历程：从早期的2D目标检测，逐步拓展至遮挡处理、低光照增强、无标签自适应、模型轻量化等方向。近年来，团队重点推进三维物体检测、多模态融合与占用网络（Occupancy Network）等方向，实现更精细的环境理解。

图源：南京理工大学计算机科学与工程学院

她提到，感知技术正逐步与决策规划融合，端到端架构成为趋势。例如上海AI Lab在2023年提出的端到端模型，以及理想汽车提出的VLA方案，均尝试将大语言模型引入ADAS系统，实现更细粒度的控制信号输出。

舱内感知同步发展，助力智能座舱体验升级

除车外环境感知外，张姗姗团队也致力于舱内感知技术的研究，包括人员属性识别、行为分析、三维人体重建等。她指出，这些技术可用于识别乘客状态、理解交互行为，进而提升座舱服务的智能化水平，尤其适用于商用车中的长途客运场景。

图源：南京理工大学计算机科学与工程学院

知识注入与系统冗余是未来感知系统发展关键

张姗姗认为，当前感知系统仍过于依赖数据规模，而缺乏对物理常识与场景知识的建模。她指出，大模型在尺度理解、物理逻辑等方面存在明显不足，需通过知识注入提升推理能力。

此外，她建议在系统设计中采用“双系统”思路，即端到端模型与模块化链式系统并行，兼顾性能与可解释性，便于调试与责任追溯。在商用车领域，传感器布置、数据融合、算力限制等问题更为突出，需与产业界共同探索低成本、高可靠的感知解决方案。

她总结道，商用车智能化感知仍处于快速发展阶段，需学术界与工业界持续协作，融合数据驱动与知识引导，推动感知系统在真实场景中实现更大范围、更高安全水平的落地。

（以上内容来自南京理工大学计算机科学与工程学院（人工智能学院）教授、博士生导师张姗姗于2025年9月12日在第五届智能商用车创新大会发表的演讲。）