//视频监控概述：================================================================ 三个阶段的核心设备： 模拟监控阶段 的 核心设备: 视频切换矩阵; 数字监控阶段 的 核心设备: 硬盘录像机（DVR）; 智能监控阶段 没有核心设备; IVS : 智能网络视频监控系统 Intelligent Video Surverillance. VCA : 视频内容分析技术 Video Content Analysis. 三个时代的主要产品： 模拟视频监控时代：闭路电视 CCTV Closed Circuit Television; 数字视频监控时代：DVR( 硬盘录像机 Digital Video Recorder ); DVR的关键技术是编码压缩算法，主要的编码方式如下：MJPEG,MPEG-2,MPEG-4,H.264; 智能网络视监时代： IVS : 智能网络视频监控系统 Intelligent Video Surverillance. 主要构成： IPC : 网络摄像机 Internet Protocol Camera. DVS : 视频编码器 Digital Video Server. NVR : 网络录像机 Network Video Recorder. 功能：视频存储、转发、回放; 区别：DVR = NVR + (IPC / DVS); VCA : 视频内容分析技术 Video Content Analysis. CMS : 中央管理平台 Center Management System. 功能：资源管理、媒体分发、存储设备、告警服务、用户服务; Decoder: 解码设备 视频监控的核心技术： 光学成像器件： CCD : Charge Coupled Device, 电荷耦合器件,含大量感光元素,每元素称为像素; CMOS : Complementary Metal Oxide Semiconductor, 集成电路制造原料; 视频编压算法： 例如：标清D1图像, 25帧/秒, 带宽要求16MB/s的数据量(720*576*12/8*25=15.5MB) MPEG-4压缩后码流为2Mbps，图像质量还可接受; 视频编压芯片： DSP : 通用媒体处理芯片, 以DSP为核心集成视频单元和外围接口,通过软件编程实 现视频编解码和扩展多种特色化功能; ASIC: 专用视频编码芯片, 集成外围接口,通过硬件实现视频编解码; 视频管理平台： //IPC技术：============================================================================================ 定义：支持网络协议的摄像机, IPC = 模拟摄像机 + 视频编码器(DVS); IPC主要功能： 视频编码 : 编压码; 音频功能 : 编压码; 网络功能 : 编压码的视音频信号通过网络传输; 云台、镜头控制功能 : 通过网络控制云台、镜头的各种动作; 缓存功能 : 可以吧压缩的视音频数据临时存储在本地的存储介质中; 输入输出报警 : 接受、处理报警输入/输出信号,具有报警联动的功能; 移动检测报警 : 检测场景内的移动并产生告警; 视频分析 : 自动对视频场景进行分析,比对预设原则并触发报警; 视觉参数调节 : 色调、亮度、对比度、饱和度等视觉参数; 编码参数调节 : 帧率、分辨率、码率等编程参数可以调整; 系统集成 : 可以与视频管理平台集成,实现大规模系统监控; IPC的分类： 半球：固定聚焦/收到变焦, 视场FOV(Field Of View)固定，难于调整; 枪机：固定/手动可变焦, 视场FOV(Field Of View)可手动进行调整; PTZ + 球机：可变焦距 + 可变角度, 百万像素摄像机：>= 2 * 模拟摄像机最大分辨率 IPC的优势： IP摄像机与模拟摄像机的比较：==> 模拟信号; --> 数字信号; 模拟Camera ==> CCD --> (A/D) --> 信号处理 --> 数/模 ==模拟输出==> DVS DVR IP Camera -> CCD/CMOS -> (A/D) -> 信号处理 -> 编码压缩 ---IP输出---> NVR 1) 模拟使用DSP芯片多次A/D转换,牺牲图像质量; 2) 模拟使用隔行扫描,IP使用逐行扫描; 3) 模拟 : 分辨率 <= D1(PAL = 720*576; NTSC = 720*480); 像素 <= 40万; 4) IP : 双向音频支持,具有音频输入/输出接口：输入：用于监听;输出,发送广播; IPC的硬件构成： 独立芯片 + CPU 架构： Camera --> 图像传感器 --> 信号处理 --> 编码压缩 --> (CPU + Flash + RAM) --> 网络接口 ==> SOC架构： Camera --> 图像传感器 --> 信号处理 --> (SOC(编码压缩) + Flash + RAM) --> 网络接口 ==> 图像传感器: CCD : 集成在硅晶半导体上, 工艺复杂,灵敏度、信噪处理强; CMOS: 集成在"金属氧化物"上,低成本、低功耗、高整合度; 编码压缩的架构： 硬件编码压缩：编压算法固化到芯片上; 软件编码压缩：软件运行在处理器上进行编压; 编码压缩芯片 = 编码芯片 + 相关RAM(作用 : 存储压缩原始数据 及 中间处理数据;需要16/32MB的 SDRAM); 主控制器部分：一般为独立部件;若为软件解码,其可能就是运行压缩算法的DSP,即主控 + 编码; CPU : 主控芯片; Flash : 固化OS内核、文件系统、应用软件和系统配置文件; SDRAM : 系统内存;由于系统优化和裁剪,一般为4MB的SDRAM; IPC的软件构成： 操作系统：嵌入式Linux系统; 编码算法：MPEG-4(主流), H.264; 软件架构层次： 应用软件层 : 应用软件 媒体层 : 自由开源软件(多媒体库ffmpeg) + 音频编码库 + 视频编码库 + 网络协议RTP/RTCP 系统内核层 : 嵌入式Linux OS + 网络协议TCP/UDP/IP 驱动程序层 : 设备驱动程序 硬件层 : 底层硬件系统 软件架构详解： 设备驱动程序 : 802.3以太网MAC控制器、通用I/O、I2S、AC97、SD/MMC卡、LCD显示控制器、视频捕获设备、 硬件控制器、高速USB控制器等; 编码程序 : 支持MJPEG, MPEG-4, H.264, MP3, WMA, AAC, G.711, G.723, G.729等; ffmpge提供录制、转换、流化音视频完整方案; 传输协议：RTP(实时传输协议) RTCP(实时传输控制协议) IPC的工作原理： IPC启动过程： 主控模块将Linux内核转入系统内存SDRAM中,系统从SDRAM启动.启动后,主控模块通过串行接口/主机接口等 控制编码模块、网络模块、串行接口,实现视频的编码压缩、网络传输及辅助控制。IPC加点启动后的过程 包括装载启动代码、设备驱动程序、网络协议处理等。 IPC工作过程： 图像/声音信号 --> 图像/声音传感器 -<电信号>-> (A/D) -<数字信号>-> 编码器 --> 发送到网络上 IPC数据的网络传输： 传输协议的介绍： UDP : User Datagram Protocol 数据报协议; 利用IP协议提供面向无连接的服务。 常用来封装实时性强的音视频数据,即使丢包,也不影响浏览。 TCP : Transumission Control Protocol 传输控制协议; 利用IP协议提供面向连接网络的服务，为在不可靠的网络上提供可靠的端到端传输。 传输实时性较强的音视频流时开销很大,如网络不问,音视频抖动现象明显。 常用来传输网络摄像机的控制命令,如PTZ控制，I/O设备控制等。 HTTP : HyperText Transfer Protocol 超文本传输协议; 主要是为网站上运行的多媒体文件(文本、图形、声音、视频等)设定规则。 常用其来提供Web访问功能，方便将音视频数据经过复杂网络传输，实时音视频支持不很理想。 RTP : Real-time Transport Protocol 实时传输协议; 情况：一对一 或 一对多。 目的：提供时间信息 实现流同步。 时间戳机制，减少了抖动影响，允许多个数据流间相互同步。 常用在UDP来传输,也可在TCP上工作。 当应用程序开始一个RTP会话时使用两个端口：一个给RTP，另一个给RTCP。 不能按顺序传送数据包提供可靠的传送机制,不提供流量控制/拥塞控制,它依靠RTCP提供这些服务。 通常RTP算法并不作为一个独立的网络层来实现,而是作为应用程序代码的一部分。 RTCP : Real-time Transport Control Protocol 实时传输控制协议; RTCP 和 RTP 一起提供流量控制/拥塞控制。RTCP 不传输任何数据。 功能 : 向源端提供有关延迟、抖动、带宽、拥塞等网络特性反馈信息,发送端可用此进行速率调整。 RTSP : Real-time Streaming Protocol 实时流协议; 情况：一对多应用程序如何有效通过IP网络传送多媒体数据。 体系：在RTP 和 RTCP之上,使用TCP/RTP完成数据传输。 原理：利用推式服务器方法，让浏览器发出请求,IPC向浏览器端推送封装成RTP分组的音视频编码数据。 比较： HTTP : 传送HTML; 客户机发出,服务器响应; RTSP : 传送多媒体数据 双向发出请求; RSVP : Resource Reservation Protocol 资源预订协议; 为Internet开发的,通过在路由器上预留一定带宽,一定程度上为流媒体的传输提高服务质量。 音视频数据比传统数据对网络的延迟更敏感,在网络中传输高质量的音视频信息,除带宽外,还需其他条件。 IPC的本地缓存： 通过在IPC内采用闪存/DRAM作为缓冲器,或在外部采用CF、SD卡作为缓存器,可实现本地临时存储(On Board Storage)。 IPC的安全通信： 1)SSL/TLS : Secure Sockets Layer. 加密源端 + 客户端 实现数据的加密、防篡改、防伪造,TLS基于SSL之上更好的安全保障。 主要服务：加密数据(防中途被劫),维护完整性(数据传输中不被改变),认证用户和服务器(确保发送到正确的对端); 源端 客户 | <--申请-- | | ---Key--> | :Key供客户端加密所用,加密后数据仅供源端使用 2)HTTPS : Hypertext Transfer Protocol over Secure Socket Layer. HTTPS = HTTP + SSL 3)IPSec VPN : (VPN = Virtual Private Network 虚拟专用网络,核心：利用公共网络建立虚拟专用网)。 ******************** #################### ====*==================*==== ====#==================#==== * ~~~~ * # ~~~~ # * 数据~> 《===》* # 数据~> 《===》# * ~~~~ * # ~~~~ # ====*==================*==== ====#==================#==== ******************** #################### SSL/HTTPS VPN隧道 ********** ########## * 不安全 * # 安全 # ********** ########## 4)报警改变帧率技术： 分辨率&帧率： 低 ----报警/时间发生----> 高 5)IPC的多码流技术：同一时间满足不同的用户需求的不同画质的要求。 注意：有些双码流/多码流系统中，视频的存储和实显都可能需要NVR的转发处理。这种情况下，多码流的需求可能会 导致IPC与NVR间码流的增加引起带宽占用增加。因此，需考虑IPC、NVR及码流请求者间的网络位置关系。 6)视频质量控制 QoS: Quality of Service 是 802.1p网络协议的一部分，用于优化网络带宽应用。 有Qos：确保带宽的稳定、有效利用 ==> 保证传输质量；优先分配传输需求 ==> 平滑传输； 无Qos：带宽被数据传输全部消耗 ==> 传输抖动。 必要条件：所有的交换机、路由器和网络视频产品都要支持QoS。 视频移动探测 VMD(Video Motion Detection) ： 功能单一，低智能；适合室内，还可进行视频录像的回防检索，以快速对录像资源进行查索引。 技术算法简短，对芯片要求低。稍高级的支持“多防区”、“方向性”防区、入侵目标过滤等。 IPC系统架构： v--设备管理、控制，报警管理，录像存储，视频转发、回放--| [IPC前端设备]----(RJ-45接口)--->[网络]--> [NVR服务器] <--(SCSI/FC通路)--> [磁盘阵列] ^--视频采集、编码、压缩、传输--| ^--支持30~50路4CIF实时存储--| IPC带宽与存储设计： 1>存储空间 = 30通道 * 2Mbps * 3600 * 24 * 7 /8 / 1000 / 1000 = 5TB; 降低存储空间的方法： 1) 降低录像帧率 : 图像流畅的下降; 2) 报警触发录像 : 无法得到非报警时段录像; 3) 时间表录像方式; 2>带宽需求： 网络路径1 : 16通道 * 2Mbps = 32Mbps [IPC]--1-->[NVR] 网络路径2 : 9通道 * 2Mbps = 18Mbps [NVR]--2-->[解码器]--2-->[电视墙] 网络路径3 : 1通道 * 2Mbps = 2Mbps [NVR]--3-->[工作台] 存储路径4+5 : 32通道 * 2Mbps + 2Mbps = 66Mbps = 8MB/s [NVR]--(-4-> & <-5-)--[磁盘阵列] //-----------------------------------------------------------------------------------------------------