博亚体育app官网入口

智慧城市时代的大数据业务管理(《中国安防》)

2012年12月,住建部启动了智慧城市试点的工作,印发了《国家智慧城市试点暂行管理办法》和《国家智慧城市(区、镇)试点指标体系》两个文件,标志着我国政府正式推动智慧城市建设的开始。至此,全国拉开了智慧城市建设的建设序幕。

智慧城市建设不仅信息技术的智能化应用,还包括人的智慧参与、以人为本、可持续创新等内涵。

智慧城市是在城市化与信息化融合等背景下,围绕改善民生、增强企业竞争力、促进城市可持续发展等关注点,综合利用物联网、云计算等信息技术手段,结合城市现有信息化基础,融合先进的城市运营服务理念,建立广泛覆盖和深度互联的城市信息网络,对城市的资源、环境、基础设施、产业等多方面要素进行全面感知,并整合构建协同共享的城市信息平台,对信息进行智能处理利用,从而为城市运行和资源配置提供智能响应控制,为政府社会管理和公共服务提供智能决策依据及手段,为企业和个人提供智能信息资源及开放式信息应用平台的综合性区域信息化发展过程。

智慧城市的建设理念,给传统的平安城市带来了新的变化,成为智慧城市建设中城市防空体系,变简单的实况和录像查看为丰富的业务应用,传统安防成为“智慧安防”。

一、 智慧防空体系建设带来的大数据

在智慧城市建设中,城市安防系统不仅仅只是忠实记录现场,等待案发之后进行录像回放取证,我们期待整个安防系统变得更加智慧。随着城市的发展,传统的“事后调查取证”视频监控应用模式逐步不再适应城市监控系统规模的发展。在城市监控中,无缝覆盖的诉求要求建设更多的视频监控点位,要求社会各个单位已建的监控系统进行联网,整个系统产生愈来愈庞大的视频录像数据存储在硬盘中,“时候调查取证”应用模式面对海量的视频录像数据变得低效,极端的情况,当对一个事件的事后翻查追踪速度慢于事件后续发展的速度,就造成了系统的“无用化”,南京“爆头案”和“长春婴儿”即为典型。所以从根本上看,社会治安给安防业务模型带来的冲击,是由于追求视频对城市的无缝覆盖所导致的必然的超大数据量,和并不能与之线性拉长的响应时间之间的矛盾造成的,这个矛盾的解决之道指向了高效率的机器视觉代替人脑处理的方式,而这必须依靠对原始数据进行一定加工才可实现,因为再牛的人工智能也不能模拟人眼—人脑这样一个信息采集和处理的过程,中间必经一道数据结构化,才符合机器的能力特征,但优势在于可以通过并行分布式处理,解决速度的问题。系统视频监控业务的发展趋势是将传统的非结构化的图像信息向结构化数据进行转化,实现数字到数据的价值挖掘,这也是大数据时代的典型特征,与智慧城市建设理念相匹配。

视频监控图像从数字到数据,结构化是核心。那么究竟需要从视频中提取那些结构化信息,这需要认真设计,这是后面所有应用的基础,一张最为普通的图片包含的信息也是海量,不同的人从不同的角度可以看到不同的信息,如何从最少的维度通过机器智能去描述该画面,将非结构化的图像变为结构化的信息是至关重要的。从公安业务角度来看,主要分为“事前”、“事中”、“事后”,但“人”、“车”、“物”是公安所谓的三大核心要素,从公安业务的角度来看,一个事件最终还是通过大脑逻辑抽象为这三个关键要素的组合,是最为关注的事件核心,因此从城市治安的角度来看,对于每一帧图像,通过机器只能对其中出现的“人”“车”“物”进行结构化是最为经济和高效的。

图1 从数字到数据,结构化是核心

再简化一些,“人”“车”是重点记录的,物可以根据事后的需要在做定向的分析或者依赖于其他物联网的传感器对物进行描述,例如通信工具反映的手机号码,或者有效证件号码,因此本文重点讨论对视频中“人”“车”两个最为核心的治安要素进行结构化,再加上监控点位的空间信息和时间信息,系统就可以确定一个事件。对于监控点位中关键监控区域的“人”“车”进行结构化记录,可以分为三个层次:

第一个层次,视频分析能够发现监控区域中运动的物体,并且对这些目标进行记录,在编码时加上运动目标这个索引,并不区分目标对象,这个应用比较简单,很容易在所有监控点位实现,通过其可以实现视频浓缩功能,在事后录像检索时只检索运动目标,例如在环境简单的一些出入口和巷道,检索效率可以提升几十倍;

第二个层次,通过视频分析技术进一步对运动目标进行目标识别,区分“人”和“车”,并且分别打上不同的索引,这种应用层次可以结合“抢球联动”应用,枪机对有效监控区域进行识别,球机自动跟踪抓拍“人”“车”的清晰特写照片,供事后关联检索,提供细节特征;

第三个层次,进一步分析目标的特征,由易到难对目标的特征进行结构化,例如对“人”,除了“人”这个关键索引外,还可以记录衣服颜色,体型胖瘦高矮,抓拍一张清晰的人脸照片,通过传感器识别人的身份证、通信号码,有效证件信息等。当下火热的人脸卡口可以在地铁出入口、火车站汽车站通行闸道进行清晰的人脸抓拍,并且对人脸特征码识别和记录,时候可以基于人脸特征码进行人脸比对;对于车,除了“车”以外,还可以记录车型,车身颜色,车牌,车标,车辆速度,驾乘人员照片、驾驶行为(是否违章),专业的卡口可以实现对车的准确记录,这也是当下最为典型的结构化应用,普通的监控点位或者所谓的“泛卡口”可以记录较少的关键属性。对于目标的特征识别,应本着尽可能做到准确而非多样,所有属性由易到难,做好一个在考虑下一个。

城市防空系统中,所有的点位实现了结构化,能够对其中的关键信息进行记录,再加上公安原有的警情库和案件库长期存储日积月累下来的数据,整个系统的有效数据将会呈现爆炸式的增长,在传统平安城市建设中,一个中等规模城市卡口一年的记录可以达到1亿多条,而结构化应用相当于在原有卡口规模的基础上成百倍、上千倍的积累数据,城市安防建设终于迎来了“大数据”时代。

二、 大数据对传统系统架构带来的挑战

“大数据”下的安防监控系统,数据结构化作为核心,对于视频监控系统意味着怎样的挑战和变革?可从三个方面来看:

(1) 数据结构化的规则—信息量与效率的平衡

(2) 海量数据与快速处理的矛盾

(3) 异构数据与异种数据的整合(视频监控与其他子系统之间)

(4) 结构化数据和原始录像数据统一存储的难题

由于三个挑战所引出的,视频监控系统必须具备的基本智能化、大数据化和物联网化的特征,必须变革基础架构以应对挑战。种种挑战都来自业务,解决挑战则依赖技术。解决好这三个问题,就是视频监控未来技术发展的核心目标。

“数据结构化”本身是最具挑战性的一个环节:前面已经分析了从城市治安角度出发的结构化的目标,就是对于“人”“车”两个关键视频信息的结构化。视频结构化需要优秀的智能算法,同样需要巨大的计算性能。系统可以在前端进行结构化,例如专业卡口,系统也可以在后端进行结构化,读取前端视频码流,依靠后端智能分析平台进行结构化,但前者对卡口前端硬件性能、安装条件要求非常高,建设投入较大,注定智能扼守关键隘口;平台智能分析,效率不是很高,例如按照当下的性能,一台智能分析服务器能并行处理的性能也就是4路1080P,如果全部满足前端成千上万路的结构化分析,如一个中等城市监控2000路高清的建设规模而言,需要500台智能分析,并且配套50台流媒体服务器,并且在网络中产生大量的数据流量,部署智能分析服务器的机房很容易成为整个系统的网络热点区域,实际工程建设困难重重,难以落地。

海量数据与快速处理是一对悖论。在非联网模型的局域安防及工业电视应用模式中,也许数据的海量特征还不够凸显,但在社会治安这种无边界业务模型中,则非常突出。而局域安防和工业电视应用一旦走向联网化,也会面对同样问题。这个问题与互联网领域的搜索引擎面临的问题极为相似。类而比之,解决之道则是在结构化的基础上引入大数据处理技术。早期的IP SAN直存实现秒级检索、当前的视频浓缩、视频摘要、视频切片、触发式录像等方式都是以非大数据思维部分解决问题的尝试。而转向大数据思维,则自然会想到业界热门的Hadoop等技术架构,这些技术,本质上都是通过分布式文件系统、分布式计算机制解决海量数据处理的加速问题,从而越来越使得超大数据量的快速处理成为可能。视频监控业务,狭义的“大数据化”仅指数据结构化后的工作,从这个角度理解与IT的大数据完全一致;广义的“大数据化”则应包含了原始数据基本管理和原始数据结构化这两个进程,其外延超越了IT的“大数据”概念。如果将结构化算法过程本身作为大数据处理的一环、融入大数据系统或者能够引用大数据技术,则会使得整个系统的效能进一步提升。当前已有的技术架构如Hadoop,由于是面向结构化数据设计的,在原始数据基本管理和原始数据结构化方面是存在很多缺陷的,不能直接引入,正如传统数据库结构无法直接管理原始视频数据一样。可以预见,围绕着这个命题,技术会进一步发展,通过不断改进优化、在不远的将来,解决视频监控“广义大数据化”的问题。从业务的角度讲,这使得系统无论基于多么海量的数据范围、或者进行多么全局性的分析、复杂的关联计算,都能够在可接受的时间内完成,无疑为视频业务的发展开辟了极为广阔的新空间。当然,这一系列技术的实现,从物理上依然离不开数据集中与虚拟化。

如果说数据结构化和海量数据处理都是视频监控自原始数据始,向上纵向延伸演变的技术目标,那么异构数据与异种数据的整合,则是水平横向延伸的技术目标。视频监控是最重要的数据源、信息最丰富的数据源,但不是唯一的数据源。除了“人”“车”两个关键要素以外,“物”也是重点关注。视频监控系统和物联网需要水平打通,实现“人车物”三个关键要素的统一融合。这种数据融合主要有两个标准面:一是原始数据采集及传送的标准面,经过多年的发展、基本统一为“IP化”;在此基础上则是数据管理与数据交换层的标准面,这个环节的障碍其实正是前文中的“视频数据结构化”,因为除了视频监控外的其他子系统上传的基本都是开关量、数字量等结构化数据,只有实现视频原始数据结构化后的数据才能够基于成熟的数据库技术、中间件技术与其他数据量实现无缝的统一管理,这在某些场合也称为“结构化数据与非结构化数据统一管理”。

结构化数据和原始录像数据统一存储,传统安防监控主要存储的是连续的视频录像,是大数据的写入,而结构化的文本信息则是典型的小数据写入,后者往往更常见于金融系统的数据库,两者存储模型是截然不同的,两者分开独立设计都可以获得比较好的解决,但是视频监控系统的大数据需要同时存储视频和结构化字段信息统一存储,例如公安提出的案件视频库,但未来的整个系统的理想存储模型是案件视频库、基础视频和抓拍图片、结构化文本信息、数据挖掘目标信息统一存储管理,统一检索,如同武侠小说中的绝世神功说描述的“水火同生,刚柔并济”,其难度可见一斑:需要同时解决结构化的小数据块和视频图片大数据同时存储,需要同时解决视频、图片、事件和结构化信息杂糅在一起的海量数据的快速检索。

对于上述三大挑战的解决,只能通过技术创新,提供一共有别于传统监控系统和通用IT大数据系统的全新系统架构来解决,这个架构应该是两种系统的有机融合。

三、 满足大数据管理的系统架构设计

从城市技防体系的大数据三个重大挑战的分析及技术脉络的梳理,我们基本可以看到在纵向的数据结构化—大数据处理,以及在横向的物联网架构模型发展两大技术方向的交叉和有机结合,以及作为其支撑的以数据集中—云计算为核心的基础架构技术支撑。这三者关联到一起,就描摹出了视频监控面向未来的技术路线图,其中云计算是原始数据结构化的基础,而大数据和物联网是原始数据结构化的延伸。博亚提出“云监控”的理念,正是基于这样的理解和总结。云监控,绝不是简单的将监控套上IT的“云计算”的帽子,也不是简单的截取“大数据”或匹配“物联网”,只有从业务出发导向架构、从架构导向技术、从技术实现再还原到业务体验,才能有机的将三大技术架构有机融为一体,才称得上是“云监控”真正的内涵。博亚“云监控”的核心架构是iMDCZ智能多媒体数据中心


图2 博亚云监控数据流程

iMDC分布式数据库优化后,极大提升了整个系统的检索效率。例如在进行车辆信息分析时,1亿条记录,可疑车辆轨迹分析,数据分析读取速度提升3倍,从几分钟提升到<30秒;在进行车辆信息检索时,1亿条记录,多条件模糊检索,检索速度提升20倍,从几分钟提升到5秒。

针对海量数据和快速处理之间的矛盾,iMDC采用云计算技术构建的IA智能分析架可以有效解决这一难题,简单讲应该是“数据集中+有限前端分布智能+弹性智能架构”。数据集中是基础,非集中数据无以做标准结构化处理;前端实现后端智能和前端智能的分布化和一体化结合,前端实现简单智能,实现对视频图像中运动目标检测,并将目标视频帧传回后台智能分析计算中心,由更为强大的智能分析服务器对前端传回的图像帧进行更多智能分析,所有结构化信息在存储时统一存储,前端和后端实现统一;后端智能分析可以实现计算资源的的动态扩展和算法挂载的动态加载,iMDC的IA智能分析架构目前已经可以实现11种高度抽象的元规则,通过复合规则形成业务规则,适应复杂业务场景;独特的抗干扰分析算法,充分利用多帧的累计效应,获得最佳的背景图像,降低误报漏报。

对于结构化数据和原始图像数据的统一存储难题,iMDC 的MAS存储架构可以有效解决图片、视频、文本、音频多种媒体文件的统一存储,可以对整个系统进行快速检索。MAS通过IPSAN直存优化极大提升了存储的性能和可靠性,满足大数据存储的需求。

城市技防系统通过对大数据进行挖掘和分析,更加强调“事中”实时抓捕,例如对目标车辆实时布控,在GIS上实时显示逃逸车辆轨迹,根据GPS信息从容调派警力进行围堵抓捕;通过从案件视频库中积累的大量案件卷中分析犯罪数据,识别犯罪模式,通过犯罪模式抽象提取布控规则,及时发现犯罪信息,终结犯罪在案犯之前。下图所示为数据挖掘应用中非常有效的“车辆积分模型”,通过对嫌疑车辆研判,提前预防犯罪。


图3 研判审核

本文见刊于【中国安防】企业版第41期

博亚帮APP

博亚帮APP
渠道合作伙伴量身定制