编者按：公安实战建设与传统的平安城市建设在建设模式上有什么不同点？如何做好公安实战平台的事前、事中、事后处理？海量信息的数据存储如何高效安全？请关注《公安实战之云存储建设》

安防行业进入2013年，公安实战建设已经是现阶段安防行业的焦点，但这一个转瞬间成为行业话题的建设需求，并不是一夜间产生的，一切要从监控行业的IT化说起。

安防监控建设在模拟时代因为其联网结构的特性决定，它是很难进行大规模部署的。随着IT技术的发展，基于IToIP的理念从传统企业应用进一步深入影响到了监控行业的发展，基于全IP的数字监控系统应运而生。随着“平安城市"的建设， IP技术的技术统一性/网络复用性和快速部署的特性使全国进入了视频监控覆盖范围的爆炸式增长。据不完全统计，到2012年底，公安自建的摄像机点位数达到了百万以上，社会点位数甚至达到了千万级别。

这么多点位的建设由于各地区建设分散，各行政管理系统孤岛式建设，甚至出现过一个路口有10多个摄像机点位，分别属于5家不同的职能部门管理的情况发生。造成摄像机重复建设/信息无法共享等极大资源浪费的问题。

公安部从数字系统出现以来就率先预见了此问题在将来可能发生，于是授权公安一所体育部门从事全国图像联网研究。并在2008年发布了行业标准，即GA/T669-2008《城市监控报警联网系统通用技术要求实施指南》。

标准从制定之后虽然取得了行业内的认可，但是苦于行业内并列的标准太多，比如全球眼/宽视界等标准，导致公安一所制定的标准执行力度不够。

为了解决这个问题，公安一所在2011年重新完善标准，并提升标准等级为国标，即GB/T 28181-2011《安全防范视频监控联网系统信息传输、交换、控制技术要求》。

随后在2012年初，公安部向全国公安机关下发了《视频信息整合与共享工作任务书》。要求争取到2013-2015年以前完成部全国90%以上县市级以上视频监控图像管理平台的建设，实现各级视频图像联网，全面支持情报研判，指挥和侦查破案。公安实战建设已经正式进入日程。

那么公安实战建设与传统的平安城市建设在建设模式上有什么不同点呢?

传统的“平安城市”建设模式采用的是外圈内网式防控体系，主要通过两套子体系实现的，第一是通过对城市与城市之间进行电警卡口布控，对城市的出入进行严密的监视和管理，对整个城市外围达到虚拟城墙似的圈式防御。第二是通过以城市内部的主干道为引线，以行政部门和重点监控区域为关键点，对整个城市实行了网格化布防。通过以上两套子系统，共同形成了外圈内网式的以空间为概念的城市防控体系。

而公安实战建设已经脱离了空间的概念，通过功能的建设，实现了以应用为维度的立体化的城市防御体系，主要实现的是通过以事前/事中/事后为三个维度，以人/车/物/为三个关键要素，共同形成了一套以城市为主体以应用为概念的立体式防控体系。为城市安全建立了一套更完善的防御体系。

那么公安实战的三个维度是什么样子的呢?

事前防范：建设的关键词是防，即事前分析防范，主要实现目标是日常巡视、报警处理、智能分析、数据挖掘。

通过视频监控资源的利用，实现公安部门对各监控点附近环境、人员情况实时检测，对视频画面进行查阅、控制、管理等日常功能性操作，以实现对重点区域的监控，对非重点区域的街面巡访，对可疑现象早发现早处理。

事中指挥：建设的关键词是控，即事中现场控制，主要实现目标的是快速布控，快速响应，预案处理，联防联控。

通过利用PGIS、卡口、电子警察等系统，对正在发生的案事件进行现场的指挥调度；在犯罪嫌疑人追捕过程中，实时展现嫌疑人逃跑路线，并利用卡口系统，对前端各卡口进行布控，当嫌疑车辆经过时，会向指挥中心发出报警，并自动启动相应预案。如果案件涉及到跨区域公安协同指挥，平台必须可以接入视频会议功能，保证在调度指挥过程中，通过视频会议系统，实现跨区域、跨级别、跨部门的协同合作。

事后处理：建设的关键词是侦，即，事后侦查，主要实现的目标是快速调阅，快速定位，快速对比，历史重建和证据固化。

通过结合智能视频分析处理功能提高整个系统的业务智能，包括：图像测量、特征提取、人车分离、特征比对、内容检索等功能，提高办案人员的工作效率。丰富视频处理手段：通过视频分析，实现视频信息动静分离，提取有价值的情报信息；通过视频标注的方式提取出重要的线索；采用视频清晰化处理，提升视频的可利用程度，还原视频中重要信息。

在综合应用上，平台在获取到情报后，可将有关联的案件视频通过时空关系串联展现，可以是以视频为导航，或是以时间为导航，或是以空间为导航，让办案人员可以找出破案方向。

制定一套完善的流程管理机制，从日常事件管理到立案、侦查取证、分析案件、确定侦查方向、制定侦查方案、认定犯罪嫌疑人、破案，对这一系列业务流程及业务中所产生的相关物证、信息进行管理。

平台需要提供对案件、疑似案件的管理，可从公安的警综系统直接调取案件信息，对案件的基本信息、犯罪嫌疑人信息、口供等资料进行管理。

我们通过事前/事中/事后三个维度的功能描述可以很清楚的看到，整个公安实战应用完全可以通过人/车/物三条主线把所有功能给串起来。所以说，实战平台从本质上是对人/车/物的数据存储/数据挖掘和数据应用。。

在数据存储方面，公安部要求联网平台在建设的同时， 通常建立分布式省市县三级图像信息数据库。

图1 分布式省市县三级图像信息数据库

每一级图像信息库包括四类数据，分别是基础视频、情报信息、警情信息、案件信息。情报信息来源于基础视频，是基础视频的结构化数据。警情信息和案件信息来源于基础视频、情报信息。当发生案件，部分警情信息可以为案件提供侦查的素材。

省、市、县三级采用“谁关注谁存储”的方式进行个性化存储。例如：某涉案视频只是县级用户关注，只需要在县级图像信息库进行存储；如果市级用户也关注了该涉案视频，则需要在市、县两级图像信息库进行存储；如果省级用户也关注了该涉案视频，则需要在省、市、县三级图像信息库分别存储。

图像信息数据库存储的视频、图片、文件和数据，具体可分为以下几类：基础视频、情报信息、警情信息、案件信息。其中情报信息由可以进一步细分为车辆信息、人员信息、事件信息库。

基础视频指没有做任何加工的原始视频。

情报信息是由基础视频通过智能分析算法产生的结构化数据， 包括：车辆信息、人员信息、事件信息库。

警情信息包括：日常巡查时发现的可疑视频信息、 故意遮挡、涂污车牌的车辆信息、高危时间、高危地点出现的车辆信息、人员信息保存到警情图像存储。用户在日常巡查时， 发现部分情报信息包含警情， 则可以将该情报信息存储到警情中。 警情信息不一定有对应的案件， 但为后续的案情侦破提供了丰富的素材。

案件信息包含原始图片、原始视频、标准视频、视频结构化数据、附件、侦查和研判数据。

标准视频是原始视频的转码视频。视频结构化数据是视频分析工具集对标准视频的输出。附件是案件相关的文档，比如通话记录.xls。侦查和研判数据是侦查员研判的过程数据，侦查和研判数据也可以来源于刑侦、技侦、网侦等其它侦查技术和方法。

图像信息数据库中的每一段视频、每一幅图片、每一个文件和数据都与一个特定的案事件编号关联。案事件编码和分类方法要符合公安部关于案事件分类和案事件性质的字典定义要求。

其中原始视频、图片、文件和数据有以下的来源：

从共享平台采集

从第三方平台采集

从车辆卡口系统采集

从人员卡口系统采集

使用特定设备到案发现场或周边、重要卡口等地点采集

使用特定设备对一些系统进行拷屏采集

其它采集方式

按照标准要求图像信息数据库的基本应用流程如下图所示：

图2 图像信息数据库的基本应用流程

图像信息数据库的具体应用流程如下：

1.将收集到的非标准视频转换为标准视频。

2.对标准视频进行分析，仅提取用户感兴趣的视频。

3.车辆卡口、人员卡口、电警和其他采集终端上报的数据保存到情报信息存储。 智能分析设备分析结果也保存到情报信息存储。

4.日常巡查时发现的可疑信息、 故意遮挡、涂污车牌的车辆信息、高危时间、高危地点出现的车辆信息保存到警情图像存储。

5.用户对案件进行排查， 对情报图像、警情图像、研判信息等进行逐级筛选， 逐步寻找嫌疑目标。研判结果保存到案件图像储存。

案件信息是视频图像侦查的输出，是指对于案件侦破有价值的文字、图片、音频、视频以及时空信息的组合，可以用于上报审核、下发布控以及与其他手段进行关联分析、案件研究等。

图像信息数据库的建设和应用都结合了文本/图片/语音/视频等因素， 这种混合式多媒体存储要求，传统以视频存储为主的监控存储方式已经完全不能满足，最好的解决方案是借鉴类似的解决方案。

根据did you know的数据，目前互联网上可访问的信息数量接近1秭= 1百万亿亿 (1024)。毫无疑问，各个大型网站也都存储着海量的多媒体信息数据，这些海量的数据如何有效存储，是每个大型网站的架构师必须要解决的问题。分布式存储技术就是为了解决这个问题而发展起来的技术，所以正好，在互联网存储应用中就有类似的方案

分布式存储概念与目前常见的集中式存储技术不同，分布式存储技术并不是将数据存储在某个或多个特定的节点上，而是通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落。

分布式文件系统是实现非结构化数据存储的主要技术，非结构化数据的存储及应用相对于结构化数据而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。

说到分布式文件系统就不得不提GFS，GFS 是分布式存储系统的鼻祖，也就是 google File System，google公司为了存储海量搜索数据而设计的专用文件系统。

GFS的系统架构图如下图所示：

图3 Google-file-system架构图

图4 Google-file-system架构图（详细）

GFS将整个系统分为三类角色：Client（客户端）、Master（主服务器）、Chunk Server（数据块服务器）。

Client（客户端）：是GFS提供给应用程序的访问接口，它是一组专用接口，不遵守POSIX规范，以库文件的形式提供。应用程序直接调用这些库函数，并与该库链接在一起。

Master（主服务器）：是GFS的管理节点，主要存储与数据文件相关的元数据，而不是Chunk（数据块）。元数据包括：命名空间（Name Space），也就是整个文件系统的目录结构，一个能将64位标签映射到数据块的位置及其组成文件的表格，Chunk副本位置信息和哪个进程正在读写特定的数据块等。还有Master节点会周期性地接收从每个Chunk节点来的更新（Heart- beat）来让元数据保持最新状态。

Chunk Server（数据块服务器）：负责具体的存储工作，用来存储Chunk。GFS将文件按照固定大小进行分块，默认是64MB，每一块称为一个Chunk（数据块），每一个Chunk以Block为单位进行划分，大小为64KB，每个Chunk有一个唯一的64位标签。GFS采用副本的方式实现容错，每一个Chunk有多个存储副本（默认为三个）。 Chunk Server的个数可有有多个，它的数目直接决定GFS的规模。

GFS与以往的文件系统的不同的特点如下：

⒈ 部件错误不再被当作异常，而是将其作为常见的情况加以处理。因为文件系统由成百上千个用于存储的机器构成，而这些机器是由廉价的普通部件组成并被大量的客户机访问。部件的数量和质量使得一些机器随时都有可能无法工作并且有一部分还可能无法恢复。所以实时地监控、错误检测、容错、自动恢复对系统来说必不可少。

随着高清数字监控的大规模普及，监控存储的容量会越来越大，而如此大容量的存储系统，无可避免的会出现设备异常等问题，为了有效的保护信息情报，容灾备份是极为重要的事情。GFS的此特点解决了公安实战监控系统的容灾备份需求。

⒉ 照传统的标准，文件都非常大。长度达几个GB的文件是很平常的。每个文件通常包含很多应用对象。当经常要处理快速增长的、包含数以万计的对象、长度达TB的数据集时，我们很难管理成千上万的KB规模的文件块，即使底层文件系统提供支持。因此，设计中操作的参数、块的大小必须要重新考虑。对大型的文件的管理一定要能做到高效，对小型的文件也必须支持，但不必优化。

和某个摄像机有关的数据，包括文本/图片/音频/视频等数据，其单个文件占用容量从极小到极大，而单个摄像机总体占用的空间又很庞大。在公安实战应用后，对于情报库的数据存储时长肯定会进行大幅度的增长，这时候就需要系统能够支撑更大扩容余量，传统的文件系统无法满足公安实战要求， GFS的此特点解决了公安实战监控系统的对多媒体和存储扩容的需求。

⒊ 部分文件的更新是通过添加新数据完成的，而不是改变已 存在的数据。在一个文件中随机的操作在实践中几乎不存在。一旦写完，文件就只可读，很多数据都有这些特性。一些数据可能组成一个大仓库以供数据分析程序扫描。有些是运行中的程序连续产生的数据流。有些是档案性质的数据，有些是在某个机器上产生、在另外一个机器上处理的中间数据。由于这些对大型文件的访问方式，添加操作成为性能优化和原子性保证的焦点。而在客户机中缓存数据块则失去了吸引力。

监控系统的存储机制是典型的大容量顺序写入，一定时间自动复写，在此时间段内，数据永不更改，而且公安实战系统在进行大规模的云智能运算，需要实时并行的调用大量的视频数据进行分析，高吞吐量资源访问和并行处理是其本质的需求。

GFS在分布式存储系统中占有很重要的地位，之所以重要的原因在于，在Google公布了GFS论文之后，许多开源组织基于GFS的论文开发了各自的分布式文件系统，其中比较知名的有HDFS，MooseFS，MogileFS等。随着公安实战业务的推进，传统存储系统逐渐会暴露出他们固有的缺陷，而从GFS与以往的文件系统的不同的特点来看，GFS一类的分布式存储系统是公安实战存储系统建设的最佳选择方案。此类系统能够满足很好的兼容存储公安实战系统平台的多媒体类数据，对数据访问进行的优化和高效的调用方式，能够满足公安实战云智能中对存储资源大规模并行调用的需求。灵活的扩容模式，能够满足公安实战情报数据的灵活增长。所以GFS类的分布式存储系统必然在未来的监控存系统的存储建设上替代现有的存储系统。

本文见刊于【中安网】