图像传输基本知识｜盖世大学堂智能座舱系列知识讲解

一、图像传输中的数据量与压缩需求

在图像传输领域，如果不考虑压缩，以常见的1920x1080分辨率、3通道、8位深度的图像为例，一帧图像的数据量约为47.46Mbit。若每秒传输60帧图像，数据量可达0.347GB，一天则需要30033G的数据。这对于数据存储和传输，如使用流量卡进行4G传输而言，是难以承受的，所需硬盘存储空间也高达3T。因此，图像压缩在实际应用中至关重要。以200W像素、H.265压缩格式的摄像头为例，其码率在2MB/s，每天占用的存储容量约为21.1G，大大降低了存储和传输成本。

在实际场景中，如野外监控，受供电和数据传输条件限制，图像压缩的需求更为突出。对于使用太阳能供电且依靠4G流量卡上传数据的监控摄像头，通常只有在检测到动物活动时才进行拍摄，拍摄后的图像先进行压缩，再定时定点上传至服务器，以此减少数据传输量和能耗。

二、视频格式与封装

（一）常见视频格式

音频和视频格式种类繁多，常见的视频格式有MP4、WAVE、MPG、DV等，音频格式有MP3、WAV等。不同的视频格式适用于不同的场景，例如常见的MP4格式，广泛应用于网络视频播放和移动设备视频存储；而CD格式的音频则常用于音乐光盘存储。此外，还有多种在线流媒体格式、移动设备格式、RealPlayer格式、微软格式、MPEG视频格式、DV格式等，每种格式都有其特点和适用范围。

（二）封装的概念与作用

封装是将已经编码压缩好的视频轨和音频轨按照特定格式组合到一个文件中的过程。可以将视频轨类比为饭，音频轨类比为菜，封装格式则如同盛放饭菜的饭盒。常见的视频容器有MPG、VOB、MP4、3GP、ASF、RMVB、WMV、MOV、Divx、MKV、FLV、TS/PS等。封装后的视频便于传输，用户可通过视频播放器进行解码观看。在这个过程中，压缩和封装是两个不同的逻辑步骤，先对视频和音频进行编码压缩，再进行封装，最终形成可存储和传输的文件。

三、图像压缩原理

（一）压缩的原因与种类

图像压缩主要是为了减少数据量，提高存储和传输效率。图像中存在多种冗余信息，如空间冗余、时间冗余、视觉冗余等。空间冗余指图像中相邻像素之间的相关性，例如大面积相同颜色的区域，可通过只存储关键信息来减少数据量；时间冗余体现在视频中相邻帧之间的相似性，大部分内容在相邻帧中变化较小，只需传输变化部分；视觉冗余则基于人的视觉特性，人眼对某些细节不敏感，可对这些部分进行压缩。

（二）帧的分类与处理

在视频编码中，帧主要分为I帧、P帧和B帧。I帧是自带全部信息的独立帧，无需参考其他图像即可独立解码，是最完整的画面，但占用空间最大，视频序列中的第一帧通常为I帧。P帧是“帧间预测编码帧”，需要参考前面的I帧或P帧进行编码，压缩率较高，占用空间较小。B帧是“双向预测编码帧”，以前帧和后帧作为参考帧，压缩率最高，可达到200:1，但由于依赖后面的帧，不适合实时传输，如视频会议场景。通过对不同帧的分类处理，可大幅压缩视频大小，减少数据处理量。

（三）压缩算法与评价标准

为了去除图像中的冗余信息，采用了多种压缩算法，如变换编码、预测编码等。这些算法旨在寻找图像数据的规律，构建高效的模型。在实际应用中，判断压缩算法的优劣通常采用客观评价和主观评价两种方式。客观评价主要通过计算“信噪比/峰值信噪比”等指标来衡量，例如计算均方差（MSE）、平均绝对值差（MAD）等。主观评价则依赖人对图像质量的直观感受。此外，图像在编码过程中，一般会将图像切割为“块”或“宏块”（通常为16像素×16像素）进行计算，以提高计算效率。

（四）直播场景中的相关设置

在直播场景中，I帧、B帧、P帧以及GOP（一组完整的视频帧，开头必为I帧）等概念尤为重要。为缓解网络因素造成的花屏问题，流媒体服务器通常需要设置缓存I帧，同时合理设置GOP。GOP一般设置为帧率的1 - 2倍，保证每1 - 2秒必有1帧I帧。这样，理论上只有在1 - 2秒的间隙中开始拉流才会出现花屏问题。若出现未加载完视频跳转不流畅等情况，可将GOP设置为帧率的4 - 5倍，以优化播放体验。

四、图像传输标准与协议

（一）国际视频编码标准

国际上，ITU（国际电信联盟）在视频编码标准制定方面发挥着重要作用。ITU下属的VCEG小组和MPEG小组联合推出了一系列视频编码标准，如H.261、H.263、H.264/AVC、H.265/HEVC和H.266/VVC等。这些标准的压缩率不断提高，应用范围也越来越广泛。此外，亚马逊、思科、谷歌、英特尔、微软等科技巨头创立的开放媒体联盟（AOM），推出了开源的视频编码技术，旨在降低企业产品服务的开发和制造成本。我国也积极参与视频编码标准的制定，AVS3已于2022年投入应用，未来我国传统视频编码标准将形成以H.265为主，AV1、AVS为辅的协同发展格局。

（二）传输协议

在图像传输过程中，常用的传输协议有TCP和UDP。TCP采用三次握手机制，确保数据传输的可靠性，适用于对数据准确性要求较高的场景；UDP则是一种无连接的传输协议，发送方无需确认接收方是否收到数据，传输效率较高，如QQ消息传输就采用UDP协议。在图像实时传输场景中，大部分IP流量除了像HTTPS前端等需要加密握手的情况外，通常采用UDP协议，以满足实时性要求。

五、国产压缩算法的特点与应用

国产压缩算法具有独特的优势，以SVAC标准为例，它支持空域可伸缩编码（SSVC）与时域可伸缩编码（TSVC）。在实际应用中，SVAC标准展现出高度的灵活性和适应性：在高分辨率存储、低分辨率转发/浏览场景，可在网络或本地存储高分辨率、高帧率的大码流，实时浏览时采用低分辨率的小码流，适用于网络带宽受限的情况；在视频内容分级存储方面，重要视频数据存储基本层和增强层，一般视频数据仅存储基本层，还可根据需求删除增强层以降低存储容量需求；在根据带宽自适应传输场景，带宽大时传输基本层和增强层，带宽低时丢弃增强层数据或只传输基本层；在客户端性能受限场景，1/4路画面普通帧率解码时，可处理高分辨率、高帧率的大码流画面，9路以上多画面解码或高倍速快进时只解码基本层。这些应用场景有效增加了视频在传输、存储、解码播放时对不同网络环境与硬件条件的适应性。

六、视频系统与接口

（一）视频系统概述

视频信号传输方式分为模拟信号和数字信号。模拟信号以连续的方式传输，如电视信号和VHS录像机信号；数字信号经过数字处理后用二进制信号传输，在传输、储存、处理时更加稳定，降噪效果更好，因此在工业和商业领域得到广泛应用。

在视频监控领域，模拟高清技术有AHD、TVI、CVI等标准。这些技术在同轴线缆上实现高清传输，相比传统模拟技术，具有更高的分辨率、清晰度，无亮色串扰问题，传输距离明显增长。与IP Camera影像相比，模拟高清图像从前端传输到后端不经压缩，影像无延迟、无压缩损害导致的失真问题，且价格较低、使用便捷，适合小区、学校、酒店等场所的安防监控。

数字高清SDI（串行数字接口）技术，如HD - SDI（高清数字分量串行接口），是实时无压缩的高清广电级摄像机技术，为监控系统提供高清晰解决方案。它可提供高清晰度图像、高分辨率、丰富色彩，传输帧率一般可达30 - 60帧/秒，在一些特殊行业具有良好的应用前景。但在车载市场，由于主控芯片平台需要采集视频进行处理以实现机器视觉功能，模拟信号传输易导致视频损耗和丢失，影响高清视频识别能力，因此车载视频系统更倾向于完全数字化传输。

（二）摄像头输出接口

摄像头sensor输出接口多样，不同接口具有不同特点和适用场景。DVP（并口）Camera一般支持BT601/BT656/BT1120数据传输，传输速度相对较慢，带宽较低，常用于500万像素以下的camera，需要PCLK时钟、VSYNC场同步、HSYNC行同步等信号。

LVDS（低压差分信号）接口由一组差分clock和若干组差分信号线组成，主要用于视频采集和显示领域。其抗干扰性强，传输距离远，通过增加数据线组数或提高时钟频率可提升带宽，但时钟频率过高会降低抗干扰能力，缩短传输距离。LVDS与并口可通过专门的电平转换芯片相互转换。

MIPI（移动行业处理器接口）是由ARM和一系列手机公司成立的联盟推出的标准，其中MIPI - CSI（摄像头接口）用于输入设备，MIPI - DSI（显示器接口）用于显示设备。MIPI为低压差分信号，传输速度快，抗干扰能力强，一般支持800万及以上像素的camera，目前主流手机camera模组多使用MIPI传输，传输时使用4对差分数据信号和1对差分时钟信号。MIPI与LVDS不兼容，两者之间转换需要专门芯片。

HiSPi（高速像素接口）由Aptina Imaging推出，可在1到4个通道工作，传输串行数据，外加一条时钟线，每个信号都是差分的，运行速度高达700Mbps。MIPI和HiSPi接口类似，很多芯片同一个口可配置成MIPI或HiSPi，但运行规范不同。

SLVS - EC（可扩展嵌入式时钟低压信令）是索尼为快速、高分辨率图像传感器开发的高速接口标准，具有嵌入式时钟信号，最高支持5Gbps/通道，在图像传感器和FPGA/DSP之间的连接配置中具有高度自由度，适用于需要更大容量、更高速度或更远距离传输的应用场景。

（三）主控芯片接口

主控芯片在图像传输系统中起着关键作用，不同的主控芯片支持多种视频接口。以安霸A12和Telechips的Dolphin3为例，它们支持多种摄像头输入协议，如BT.601、BT.656、BT.1120等，同时支持多种视频编码和解码协议，如H.264、HEVC、VP9等。安霸A12重点用于传输，因此只有编码协议；而Telechips的Dolphin3则同时具备编码和解码能力，既可以压缩图像进行传输，也可以解码网络上的高清压缩视频进行播放。此外，这些主控芯片还支持多种视频输出接口，如LVDS、DP、HDMI等，以满足不同设备的连接需求。

（四）常见数字输出视频接口

HDMI（高清多媒体接口）支持在单线上传输全数字高清视频和多声道音频，基于TMDS协议传输，主要用于音视频source到sink设备的传输，向下兼容DVI，但DVI只能传输视频。HDMI有A、B、C、D、E五种引脚类型，常用的Type A接口包含用于传输数据的TMDS data引脚、用于时钟传输的TMDS clock引脚，以及用于遥控的CEC引脚、用于分辨率自适应的DDC引脚、用于热插拔检测的HPD引脚等。

DP（DisplayPort）接口也是常见的视频接口，与HDMI接口相比，其核心区别在于带宽。DP接口的带宽不断提升，如DP1.4的带宽达到32.4gbps，能够完美支持4K 144Hz以及8K 30Hz的屏幕，而HDMI 2.0最高只能支持4K 60Hz的显示器。DP接口采用128b/132b编码（也兼容8b/10b编码），在高清视频传输方面具有明显优势。