什么是视频结构化解析系统？基于深度学习、大数据和云存储的视频结构化服务系统定位“海量监控过滤网、网罗有价值信息”，作为视频监控系统的提档升级手段，为用户提供视频、图片、特征解析功能，实现从海量监控图像资源中提取有价值信息，过滤冗余数据，形成视频结构化数据积累，支撑政府实战应用。

　　1、视频结构化解析系统总体概述

　　结构化服务需要视频云结构化中心支撑，中心是一个具备汇聚前端所有产生的视频、图片、结构化信息，同时能对视频、图片再一次进行信息识别，以做到视频图像内有价值信息的完全提取，并且能实现基于结构化数据的海量信息快速检索，构建完整事件时间链能力的场所。可归纳为三类系统：（1）解析类系统，包含视频结构化分析系统、视频图像智能处理工具集等；（2）存储类系统，包含海量视频解析数据存储库、视频图像基础资源库、专题资源库、索引库等；（3）服务类系统，包含视频图像解析中心管理系统、视频大数据分析系统等。视频云结构化组成如下图所示，
　　（1）视频结构化分析系统，利用视频结构化描述技术、智能图像分析技术，对实时视频或离线录像进行分析及处理，提取海量视频中的人、车、活动目标等内容信息，将海量非结构化视频、半结构化图片“变成”有价值的结构化信息的系统。

　　（2）视频图像智能处理工具集，包含视频图像采集工具、视频图像处理工具，用于离线录像的快速采集及快速播放、涉事视频的智能处理及单机分析、模糊图像的清晰处理等的工具。

　　（3）海量视频解析数据存储库，用于存储解析类系统自动分析得到的人、车、活动目标等要素的特征描述及结构化数据的数据库。

　　（4）视频图像基础资源库，用于存储解析类系统自动分析得到的人、车、活动目标等要素对应的图片的数据库。

　　（5）专题资源库，用于存储人工提取和现场采集、以及案事件研判过程中采集和标注的人员、车辆、案件等要素的视频片段、图像、特征描述等信息的数据库。

　　（6）索引库，指存储数据标签与索引数据等可支持全文检索等的资源数据库。

　　（7）视频大数据分析系统，依托存储类系统存储的解析数据、基础资源、专题资源等，提供结构化数据的快速检索、比对、碰撞、分析等服务。

　　（8）视频图像解析中心管理系统，是整个解析中心的管理系统，用于集群管理、级联管理、用户管理、日志管理、运维管理等的系统。

　　2、关键技术

　　2.1、深度学习

　　深度学习是指机器通过模拟人脑建立的深度神经网络，模仿人脑机制来进行学习、判断、决策的技术，目前已被广泛应用于人脸识别、语音识别、笔记识别等领域。
　　通过深层神经网络训练出来的人脸识别算法能极大地提高识别精度。简而言之，就是让已经在网络结构中预设了人脸识别先验知识的神经网络，大量“阅读”很多人在各种环境（例如光照，视角，表情）下被拍摄到的不同人脸图片，自动学习并提取人脸各个部位和尺度的低、中、高层特征，在大量学习之后，机器便能根据所提供的样板信息区分不同的人员。
　　如何准确地将视频中人、车、物等的关注目标进行结构化描述？这与深度学习算法密不可分。针对人脑可以分析非结构化、半结构化视频资源这一特性，科学家们对人脑的信息处理流程进行模拟，抽象出神经网络架构下的深度学习算法，实现视频图像结构化解析。深度学习通过构建模拟人脑进行分析学习的神经网络来模仿人脑的学习机制，从而识别和解释非结构化或半结构化的视频资源。

　　深度学习算法具有自动学习的特征，通过对大量的训练数据的学习，不断提高算法的准确度和效率。同时深度学习算法具有很强的泛化能力，即使同一类物体处于不同尺寸、不同视角、不同光照、遮挡等条件下也能准确识别。影响深度学习算法准确度和效率的最核心的两个因素是：训练数据的规模和算法模型的结构。其中算法模型采用的是最先进的模拟人脑构建的神经网络架构下的深度学习算法。

　　通过视频图像结构化技术，实现视频智能分析和数据挖掘，让视频从人工抽检向智能提取转变，实现智慧化的信息提取、分析、应用，让人从观看视频监控劳动中解脱出来，进行高效、准确的视频图像实战应用。

　　2.2、大数据技术

　　大数据技术是使大数据中所蕴含的价值得以挖掘和展现的一系列技术与方法，包括数据采集、预处理、存储、分析挖掘、可视化等。在本系统中采用的大数据技术，是结合综治视频监控业务的实际需求，基于分布式计算、大数据检索等技术进行设计的，主要解决海量结构化、半结构化视频资源的快速检索、分析统计应用需求，并通过大数据的深度关联分析，支撑综治机关开展视频图像信息实战应用。

　　（1）分布式计算技术

　　海量视频资源通过本系统的结构化解析，形成海量结构化、半结构化有价值数据的积累，针对这些有价值的大数据进行快速检索、分析统计需要巨大的计算能力，需要极大的成本的同时也极其耗时。分布式计算负责将一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果，节约计算成本的同时也提高处理效率。
　　（2）大数据检索技术

　　大数据检索是针对大数据搜索业务需求而打造的一套搜索引擎，具有专业精准、高扩展性和高通用性的特点。全文检索作为大数据检索技术的实现与应用，能够快速生成海量文件对应的索引数据，同时对搜索引擎的配置管理进行人性化的定制，使全文检索集群的管理、监控与扩展都变得十分简单，极大提高了系统的维护性与可用性。

　　2.3、云存储技术

　　云存储是在云计算（cloud computing）的概念上延伸和发展出来的一个新概念，是指通过集群应用、网格技术或分布式文件系统等功能，应用存储虚拟化技术将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统，也可将云存储理解为是配置了大容量存储设备的一个云计算系统。

　　系统针对综治应用特点，采用面向业务的设计思路，融合集群化、虚拟化、离散存储等技术，规划图片云存储，可将网络中大量各种不同类型的存储设备集合起来协同工作，共同对外提供高性能、高可靠、不间断的图片存储和业务访问服务。

　　3、视频结构化解析系统架构
　　视频结构化解析系统依据“解析à存储à应用”的设计思路进行设计，由视频接入单元、视频云分析系统、大数据云存储系统、视频结构化应用系统组成。视频接入单元负责从视频共享平台/联网平台提取的原始实时视频、录像视频及初步结构化的图片数据；视频云分析系统将接入的视频图像进行结构化解析，提取出人、车的属性特征；大数据云存储系统包括视频图像基础资源库和解析数据资源库，分别对视频中提取的活动目标图片、结构化数据及人体模型数据进行分类存储；视频结构化应用系统则提供视频结构化应用功能，包括基础视频应用、基础检索应用、特色功能应用、系统管理功能，并对解析资源、用户权限、系统日志进行管理。

　　4、视频结构化解析系统逻辑架构
　　视频结构化解析系统组成可归纳为六层：

　　（1）接入层：通过视频接入单元、视频联网单元、流媒体单元、存储管理单元，从信息资源交换共享总平台提取原始视频图像资源，包括实时视频、历史视频、图片数据。

　　（2）解析层：GPU视频图像解析单元将获取的实时视频、历史视频、图片进行结构化解析，依据人车混和的活动目标、人员、车辆三种场景需求进行视频图像资源结构化解析，提取活动目标、人员、车辆的信息，包括图片、结构化信息及人员模型。

　　（3）数据层：包括视频图像基础资源库和解析数据资源库，其中视频图像基础资源库用于存储系统结构化解析后提取的人员、车辆等活动目标的图片；解析数据资源库用于存储系统结构化解析得到的人员、车辆等活动目标的特征描述及结构化数据，以及人员活动目标对应的模型数据。

　　（4）服务层：作为系统级功能组件，为系统的业务应用层提供通用的系统功能，包括中心管理服务、大数据服务、图片存储服务、解析服务、Metis地图服务、数据库服务、视频联网服务、接口服务等。

　　（5）应用层：即视频结构化应用系统，提供基础功能、特色功能、系统管理功能等的视频结构化应用功能，包括模糊检索、条件提取、以人搜人、轨迹回放等，实现重点视频图像应用能力深化升级，提高城市综合治理实战能力。

　　（6）用户层：可为政府领导、综治、公安、交通、应急、城管等各委办局、区县、社区乡镇街道等用户提供视频资源解析应用。

　　5、数据流程
　　视频结构化解析系统的数据流程说明：

　　（1）通过流媒体服务器、网关服务器、云存储从视频共享平台/联网平台取视频流到视频结构化服务器；

　　（2）视频结构化服务器解析得到活动目标图片、结构化数据、人体模型，分别存储至云存储、大数据服务器；

　　（3）针对智能前端直存的活动目标图片，可直接存到云存储中，并通过图片结构化服务器进行解析，得到活动目标的结构化数据和人体模型，并存储至大数据服务器；

　　（4）应用终端向管理服务器发起应用请求，如条件检索、以人搜人请求，并将图片提交到视频结构化服务器；

　　（5）管理服务器向视频结构化服务器提交检索图片，视频结构化服务器解析得到结构化数据、人体模型；

　　（6）大数据服务器得到视频结构化服务器的数据，并向管理服务器反馈查询请求结果；

　　（7）应用终端查看结果图片时，直接从云存储调取关联照片。

　　6、交互共享结构
　　视频结构化解析系统与外部系统交互共享服务说明：

　　（1）视频结构化解析系统通过GB/T 28181标准对接视频图像信息资源交换共享总平台，从中获取视频流，包括实时视频和历史录像。

　　（2）视频结构化解析系统解析得到的车辆结构化描述信息将被推送至大数据服务系统。

　　（3）视频结构化解析系统的图片数据、结构化数据可通过WebService或Kafka接口方式对接到综治办公共安全视频图像信息共享平台。

　　（4）结构化相机可直接将图片数据及结构化数据接入到系统中。