智能视频

智能视频系统，又称IVS (Intelligent Video System)或CA (Content Analysis)，是利用计算机图像视觉分析技术对场景中的背景和目标进行分离，对摄像机场景中出现的目标进行分析和跟踪的一种视频分析技术。用户可以根据不同的拍摄场景设置不同的报警规则，对视频内容进行分析。一旦目标在场景中违反了预先设定的规则，系统将自动发出报警，监控工作站将自动弹出报警信息并发出报警声音。用户可以通过点击告警信息对告警场景进行重组，并采取相应的处理措施。

从广义上讲，除了上述描述可以归为智能视频分析之外，我们还可以将智能视频分析归为对视频图像进行分类、比较或识别的所有操作功能。另一方面可以对图像进行分析，优化图像质量，为监控人员观看提供更好的图像质量。这包括:视频分析、视频识别和视频改进。

其主要功能是识别监控屏幕中的物体，检测其运动特征属性，如物体的相对像素位置，物体运动的方向和速度，以及物体本身在屏幕中的形状和变化。基于以上基本功能，视频分析可分为以下功能模块:

●周边入侵检测和物体运动方向检测;

●检测物体运动和停止状态的变化;

●物体出现和消失检测;

●交通统计包括(人流量、车流量统计);

●PTZ自动跟踪系统;

●摄像头智能自检功能。

视频识别包括人脸识别和车牌识别，其主要技术是识别视频图像中某些局部图像的共性。例如，人的脸必须有两只眼睛。如果我们能确定眼睛的位置，我们就能确定脸的位置和大小。然而，在现有的技术下，面部识别系统必须在进行面部比较之前两只眼睛都能看到。主要包括:

●人脸识别系统;

●车牌识别系统;

●照片比对系统;

●工业自动化中的机器视觉系统。

视频改进的主要功能是优化以前不可见、模糊或振动的图像，以增加视频的可监控性能。具体包括:

●夜视图像增强处理;

●图像画面稳定系统;

●车辆车牌识别图像增强系统。

一般智能视频技术的实现方法包括前端嵌入式实现或后端PC机分析实现。

前端嵌入式实现是利用DSP或类似的嵌入式系统对监控前端的视频进行分析，并进行相应的处理和联动。其优点是无需远程传输视频，兼容性好，系统运行稳定;其缺点是系统处理资源有限，无法完成复杂的视频分析工作，功能升级潜力有限，适合于一些相对简单的视频分析功能。

后端PC机分析实现是将视频传输到后端PC/服务器或工控机进行算法实现。其优点是灵活的函数定义和实现复杂分析算法的能力;缺点是需要保证视频传输，对网络要求高，后端硬件投入大。

在人脸识别、客流统计等简单成熟的视频分析技术中实现前端视频分析。

随着宽带有线、无线网络基础设施的完善和全球安防市场需求的增长，视频监控的应用呈现爆发式增长趋势。视频监控系统的发展趋势十分明显。在经历了数字化和网络化之后，下一个重要的趋势是智能化，即智能监控和视频分析技术的应用。

传统的视频监控是通过人工视频监控来识别安全隐患或异常状态，或进行事件后分析。这种应用存在固有的弊端，难以实现实时的安全监控和检测管理。具有智能分析功能的监控系统可以通过识别被监控对象的外观、动作等特征，主动采集和分析数据，并根据预设条件执行报警、记录、分析等动作。智能监控系统可以在服务器或基于DSP的嵌入式系统上运行，这已经逐渐成为主流。

智能视频的应用一般可以分为安防、人类行为检测、智能交通三个方面。其中，安防应用被广泛认为是最具发展前景的市场，主要包括以下应用类别:入侵检测，可以自动检测视频图像中的运动行为特征;物品移除检测可以自动检测物品移动事件-当物品从防御区域内的特定位置取出或移动时触发警报;遗留检测，自动检测遗弃物品——当物品放置或遗弃在一定的防御区域时自动报警;智能跟踪使相机能够自主PTZ驱动其自身的平移倾斜和变焦镜头。人类行为检测应用包括下班检测(可以自动检测哨兵的存在)和流浪检测(可以检测重要区域的人类流浪)。智能交通应用包括:检测违章停放车辆，违章停在防区内报警;车辆逆行检测，及时识别逆行车辆。
随着精度、可靠性的逐步提高和产品成本的降低，智能视频在越来越多的场合得到了应用。可以替代部分安防设备，减少安防人员的工作量，提高工作效率，降低管理成本。事实上，智能视频的应用潜力巨大。随着技术的成熟，智能视频技术的应用领域正在迅速扩大，主要包括安防、交通、零售、服务等上述行业，如人口统计、人脸识别、人群控制、注意力控制、交通流量控制等。

实时视频监控的需求正在迅速增长，特别是随着实时安防监控应用需求的不断增加。实时检测目标的安全风险或异常行为的功能在现实中变得越来越重要。在这种日益增长的需求驱动下，智能视频监控系统产品正成为视频监控应用的新热点。特别是随着半导体技术的进步，如以Blackfin融合处理器为代表的先进嵌入式解决方案平台解决方案的推出，具有极高性价比和实用性的智能视频分析设备不断推出，在一些关键应用中发挥着极其重要的作用。

硬件平台解决方案的选择往往决定了总体成本、性能、开发工具和方法的可用性，以及未来系统持续升级的可行性。因此，解决方案平台的选择至关重要。智能视频应用的独特性要求在硬件平台的选择上进行全面的平衡。视频监控系统网络化、智能化的分析需求，以及大规模工程安装对成本、体积、功耗的限制，以及非标准的智能视频分析方法，几乎是定制化的优化方法，使得融合了MCU和DSP优势、软件设计灵活、处理能力强大的融合处理器解决方案平台优势更加明显。本文将结合ADI公司独有的Blackfin融合DSP处理器的特点，分析智能视频设计中的主要设计技术要点。

可定制性非常重要。制约智能视频监控系统应用步伐的因素有很多:首先，智能监控的视频算法比较复杂，难以标准化。每个系统供应商的视频分析软件都有自己独特的算法，导致市场上缺乏统一的产品标准;其次，视频监控系统的应用场景比较复杂，用户需求多样化，因此有更多的定制需求。因此，视频分析解决方案通常需要根据客户的应用特点和需求进行优化，使用的算法差异很大。此外，由于智能视频应用的高度复杂性，对解决方案的处理能力提出了更高的要求。传统的基于单片机+ASIC的视频监控解决方案难以实现各种个性化设计和对计算能力的高要求。即使选择典型的DSP+MCU双芯片解决方案，通常也难以满足智能视频监控应用的复杂计算需求，需要增加协处理器。这种复杂的解决方案在BOM成本、功耗和开发难度方面都存在不足。Blackfin处理器充分利用MCU+DSP聚合架构的优势，满足智能视频应用的系统控制和高强度计算需求。特别是以BF561为代表的高性能双核架构，成为智能视频应用的首选解决方案平台。

计划的可伸缩性也是需要考虑的一个因素。智能视频分析应用不仅需要针对应用环境和目的对解决方案进行优化，不同的客户在其他方面也可能有不同的需求。例如，目前一些领先的数字视频监控解决方案支持H.264基本类@ Level3.0和MPEG4 D1+CIF双流，未来可能会扩展到支持H.264 D1+CIF双流。随着智能视频分析的应用越来越广泛，如IP摄像机、无线视频监控、智能交通系统等，不同的应用对各种接口功能、通信标准、用户界面等方面的要求可能存在显著差异。针对各种需求的硬件平台解决方案的灵活性和可扩展性非常重要。同时，如前所述，智能视频分析技术的发展也只有几年的时间。随着技术的不断成熟和相关标准的引入和完善，产品的可扩展特性变得至关重要，这不仅是开发人员关心的问题，也是最终用户的重要特性。Blackfin DSP在算法并行处理方面具有独特的优势，尤其是采用双DSP内核的ADSP-BF561，可以实现复杂的智能视频处理算法。

视频应用优化功能。虽然有些解决方案具有较强的处理能力和可扩展性，但是否针对视频应用进行了优化也是值得关注的，因为这直接影响到设计工程师可用的软硬件设计资源，以及系统设计的难度和可实现性能。以Blackfin处理器为例，Blackfin针对高强度、高数据速率的数字和媒体处理进行了专门的优化:Blackfin的数十个DMA通道和灵活配置的Cache很好地满足了视频监控系统对大计算负载和高数据吞吐量的要求;ADI开发了完全优化的音频和视频编解码器，并免费提供给主要客户;Blackfin集成了许多视频应用的硬件驱动程序，包括WiFi驱动程序和音频/视频编解码器驱动程序;Blackfin的四个视频算术运算单元和视频像素指令集大大加快了视频运算速度;在智能视频分析的一些基本运算中，如直方图统计、中值运算、Sobel运算、形态学中的扩张运算等，可以使用Blackfin的MIN和MAX指令来消除条件跳跃，节省处理器周期。不仅如此，Blackfin还支持13种非视频数据的矢量操作。正确设计数据结构可以利用Blackfin在背景分离、阈值计算、更新等多个阶段的独特指令，使智能视频分析算法更快。大多数这些天生有效的指令可以并行执行，使Blackfin的处理能力翻倍。

低功耗和稳定性很重要。考虑到智能视频监控设备通常是每周7天，每天24小时运行，稳定性和功耗也很重要。在低功耗方面，Blackfin处理器采用了多种节能技术:基于门控时钟核心设计，可以根据个人指令选择性切断功能单元的电源;支持多种断电模式，所需CPU操作最少;Blackfin处理器支持一个独立的动态电源管理电路，可以独立控制工作频率和电压，以满足执行算法的性能要求;大多数Blackfin处理器提供片上核心电压稳定电路，可以在低至0.8V的电压下工作。Blackfin独特的聚合处理架构和90nm工艺为其领先的低功耗处理奠定了基础。基于Blackfin平台的系统解决方案具有较高的处理能力，可以减少主芯片数量，丰富的功能和接口可以满足各种外设和功能扩展需求，减少组件数量，确保更高的稳定性和可靠性。目前，Blackfin DSP在同价位的DSP中具有最好的低功耗特性和稳定性。

支持哪些嵌入式操作系统。智能视频分析通常是一种基于网络的应用程序，需要操作系统的支持。因此，选择具有广泛嵌入式系统支持能力的解决方案非常重要，以确保未来产品在更换操作系统时不必更换硬件平台，并确保研发成果的持续可用性。目前，有许多嵌入式操作系统可用，每个都有自己的优点。硬件平台解决方案支持这些操作系统的能力是方案选择的关键考虑因素之一。例如，Blackfin处理器可以支持主流操作系统，包括uCLinux、ThreadX、Nucleus、uCOS-II等十多种嵌入式操作系统。客户可以根据自己的需求，选择熟悉的或者性价比更高的软件架构基础。

智能视频监控设备是一个复杂的系统，涉及复杂的软硬件设计、人机界面、通信连接等，系统设计难度高。因此，所选择的硬件平台解决方案能否提供完整的开发工具套件、必要的软件模块、成熟的参考设计、系统设计支持，以及是否有完整的设计生态系统，对于系统设计能否按期高质量完成至关重要。事实上，并不是所有的平台解决方案提供商都能提供这种支持。

以Blackfin系列处理器为例，采用Blackfin处理器的硬件平台，从通用dvr、IP摄像机、数字视频监控到智能视频监控，已经被全球大量设备企业广泛采用。Blackfin处理器在许多企业中广泛流行的一个重要原因是它们具有完整的开发工具和对参考设计的支持。ADI提供业界领先的工具，初学者工具包和支持，包括支持其他Blackfin处理器的著名ADI CROSSCORE ?软件和硬件工具，包括屡获殊荣的VisualDSP++?集成开发和调试环境(IDDE)，模拟器和EZ-KIT Lite*估计硬件版本。

为了提高开发效率，降低开发难度，建议在开发过程中尽可能使用现有资源，如开放例程。为此，ADI提供了大量的例程和材料。例如，ADI提供了免费的“Image Tool Box”图像处理函数库软件包，专门针对图像处理应用中常用的数学函数进行了优化，供客户在应用开发过程中调用。ADI还提供完整的参考设计，以及由本地合作伙伴开发的评估板、开发工具、算法ip、应用模块，以及第三方合作伙伴提供的完整的软硬件交钥匙解决方案。Blackfin处理器的视频监控应用目前在中国拥有多个具有丰富工程经验的第三方合作伙伴，并建立了完整的生态系统。

以ADI公司今年3月宣布提供基于该公司Blackfin BF526C的完整IP监控和机器视觉相机参考设计为例，该参考设计在单个聚合处理器上提供强大的视频和音频处理能力，为工程师提供统一的软件开发环境，从而实现更快的系统调试和部署，并降低系统成本。该处理器提供集成的音频编解码器，流媒体视频和IP协议，片上DRAM内存，10/100以太网，USB和SD存储接口，以及本地RS-232端口。这个完全可编程的解决方案可以满足各种视频压缩标准，如H.264和MPEG4，并支持根据G.729标准的音频编码。支持从控制中心到相机的双向语音通信，以及使用Pelo-P或Pelo-D协议的镜头平移，倾斜和拉伸动作。本参考设计还提供了一个带有双核BF561处理器的子卡，使系统能够实现更高的视频分辨率，并提供运动检测和跟踪等高级视频分析功能。