一、引言:为什么需要专用管理平台

在多台AI边缘设备组网的场景中,仅依靠单独的设备客户端软件无法满足集中管理的需求。运维人员需要一个统一的平台来实现多设备的视频显示、AI算法控制、云台操控、数据存储与回放等功能。

综合视频管理平台(VMS)就是为解决这一问题而设计的。本文以TVMS平台为案例,从软件架构、设备管理、多通道视频显示、AI算法控制、数据存储等维度进行技术分析,探讨多通道AI监控平台的技术实现思路。

二、软件架构

2.1 模块化设计

TVMS平台采用模块化设计,主要包含以下功能模块:

  • 视频监控模块:多通道视频显示、分屏模式切换、视频帧率监测

  • 设备管理模块:设备添加、配置、固件升级、IP管理

  • AI算法模块:目标识别、自动跟踪、框选跟踪、波门跟踪、点选跟踪等

  • 运动控制模块:云台控制、镜头控制、预置位、全景拼接

  • 数据存储模块:视频抠拍、图像抠拍、自动存储、报警存储

  • 电子地图模块:在线地图、离线地图、图片地图、设备联动

  • 目标统计模块:目标数据统计、分析、查询

2.2 主界面布局

TVMS客户端界面采用经典的多窗口布局:上方为功能导航区,左右两侧为停靠功能窗口区,中间主区域为视频显示区,下方为全景拼接图显示区。用户可以通过右键菜单显示或隐藏各功能窗口,也可以进入全屏显示模式。

主菜单包括视频监控、视频回放、电子地图、日志查询、系统设置五个主要功能页面。同时支持中英文语言切换,并提供键盘快捷键和手柄操控两种交互方式。

三、设备管理

TVMS平台提供三种设备添加方式,适配不同的网络环境:

3.1 自动搜索添加

这是最常用的设备添加方式。设备默认在192.168.1.*网段,出厂默认IP为192.168.1.200(可见光或双光)或192.168.1.201(红外)。客户端通过广播搜索自动发现同网段设备,用户只需勾选并保存即可。需要注意的是,广播搜索需要关闭电脑防火墙,并确保网卡选择正确。

3.2 手动添加

当设备跨网段或防火墙屏蔽时,可以手动添加设备。将设备类型设置为“AI-Camera”,填写正确的RTSP视频流地址和控制端口号。对于公网设备,需要勾选“公网”选项并填写映射后的端口号。

3.3 批量导入

对于设备数量较多的场景,支持通过导入CSV设备配置清单文件批量添加设备。已配置的设备列表可以导出为CSV文件,在新安装的客户端中直接导入即可完成设备配置。

四、多通道视频显示

4.1 64通道实时视频

TVMS平台支持最多64通道实时视频显示,设备添加数量无限制。默认开启1、4、6、8、9、13、16分屏模式,可通过系统设置激活25、36、64分屏显示。视频显示区域支持拖拽操作,可以方便地变换通道位置。

4.2 CUDA硬件加速

8画面以上的多通道同时显示需要配置独立显卡。在系统设置的视频参数中,将硬件加速类型设置为“CUDA”即可启用GPU视频解码加速。这对于大规模设备组网场景至关重要,可以显著降低CPU占用率,提升视频播放的流畅度。

视频解码方式提供四种模式:速度优先(推荐)、质量优先、均衡处理、最快速度。对于200万以上分辨率或网络不稳定的场景,不建议使用“最快速度”模式。

五、AI算法控制

5.1 七种算法模式

TVMS平台支持七种AI算法模式,覆盖了从简单识别到复杂跟踪的全部场景:

算法模式

功能说明

技术特点

目标识别

固有算法检测人车船无人机等

支持自定义模型部署,可设置目标像素范围过滤

自动跟踪

识别后自动锁定目标并跟踪

连续3帧稳定识别后启动,优先锁定靠近中心区域目标

框选跟踪

手动拖拽矩形区域跟踪目标

基于图像特征匹配,支持任意大小矩形选择

动目标跟踪

区域内自动锁定移动目标

设置检测围栏后自动跟踪区域内动态目标

波门跟踪

固定正方形区域跟踪

支持16x16到128x128多种尺寸,点击画面即可启动

点选跟踪

点击多目标中的感兴趣目标

自动锁定最近目标,适合多目标场景切换

3D区域管理

变焦与云台移动时自动调整围栏

三维映射变换,围栏随云台角度和焦距自动调整

5.2 检测区域与屏蔽区域

平台支持在视频中绘制可视电子围栏,AI仅对围栏区域内的目标进行识别。围栏区域支持多边形,最多支持6个拐点,最多设置8个检测区域。同时支持屏蔽区域设置,屏蔽区域内的目标不会被识别,适用于过滤干扰元素。

5.3 自动变焦控制

平台提供自动变焦功能配置,在点选跟踪或自动跟踪过程中,镜头根据目标像素大小自动调整焦距。可配置参数包括目标最小/最大调焦像素、变焦有效区域等。对于小型目标(如无人机、鸟类),建议可见光模式下最小调焦像素设置为20-30,最大调焦像素设置为60-90。

六、全景拼接与电子地图联动

6.1 全景拼接

TVMS平台支持利用云台相机的旋转能力自动拼接全景图像。拼接范围可自定义设置,不一定需要360°全范围。拼接后的全景图像显示在界面下方,蓝色框代表当前画面在全景中的位置。点击全景图上的任意位置,系统会自动控制云台转动到该位置。同时支持可见光和热红外两路独立拼接。

6.2 电子地图联动

电子地图功能支持三种地图模式:在线地图(百度/谷歌/天地图)、离线高精度地图、图片地图。在地图上可以实时显示设备位置、覆盖范围、当前观测方向等信息。点击地图上的任意位置,设备会自动转动云台并变焦到该位置。这种联动机制对于大范围多设备组网的统一指挥调度尤为重要。

七、数据存储与回放

TVMS平台提供五种数据存储方式,覆盖了不同的业务需求:

存储方式

触发条件

存储内容

视频抠拍

手动点击开始/停止

视频片段,存储在video_normal目录

图像抠拍

手动点击截图

单帧图片,存储在image_normal目录

自动存储

开启后按设定时间片段自动存储

所有通道视频,按时间分段存储

报警视频

识别到目标时自动触发

以报警为起点的视频片段,分通道存储

报警截图

识别/跟踪目标时自动触发

目标区域截图(JSON协议)或全屏截图(私有协议)

报警视频和报警截图是实现自动化监控的关键功能。报警视频以识别到目标为起点,自动存储设定时长的视频片段。报警截图支持JSON协议(设备端截取目标区域图像)和私有协议(客户端截取全屏画面)两种模式。所有存储的视频和图片均可在视频回放窗口中按日期、通道号、类型进行查看。

八、目标统计与数据分析

TVMS平台提供目标统计功能,可以对各通道的目标识别数据进行统计和分析。统计内容包括目标类型、出现时间、目标数量等信息。这对于分析监控区域的目标活动规律、优化巡逻策略具有重要价值。

此外,平台还支持自动数据采集功能,可以设定时间间隔自动采集视频帧图片,用于后续的模型训练和算法优化。采集的数据按日期和通道号分类存储,方便管理和使用。

九、跨平台支持

TVMS客户端提供多平台支持,适配不同的部署环境:

  • Windows版本:建议使用Win10或以上版本,仅支持64位系统

  • Linux版本:支持Ubuntu 20.04版本

  • 国产化系统:支持元华斐麒系统和欧拉系统,以授权方式提供

跨平台支持的技术实现意味着,用户可以根据实际部署环境选择合适的平台版本,而不需要重新适配功能。这对于需要在不同操作系统上部署监控系统的用户来说非常重要。

十、总结

TVMS综合视频管理平台体现了多通道AI监控平台的几个关键技术特点:

  • 模块化架构:功能解耦设计使得各模块可以独立开发和部署

  • CUDA硬件加速:通过GPU解码支持64通道同时显示

  • 多模式AI算法:七种算法模式覆盖从简单识别到复杂跟踪的全场景

  • 全景拼接与地图联动:解决大范围监控的操作效率问题

  • 多样化存储:五种存储方式覆盖所有业务场景

  • 跨平台支持:Windows、Linux、国产化系统全覆盖

对于多设备组网的实际部署,建议根据设备数量选择合适的硬件配置,并充分利用平台提供的自动化功能(报警视频、报警截图、目标统计等)来提升运维效率。

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐