博亚大数据管理平台：百亿数据秒级检索 剑指智慧应用价值

《安全自动化》 黄仁贵

博亚大数据平台充分发挥了IT 技术积淀的实力，具有海量数据处理快速、检索精准、研判深入、功能丰富等特点，全局分析、管理及布控能力强，是智慧城市发展的强有力工具，尤其基于“车”的分析优势凸显。

1、强大集群组网能力

博亚大数据管理平台是基于UniviewDR9500 （Data Retrieval Server） 数据检索服务器 （下文简称 DR9500）实现的大数据分析应用。该服务器为2U 架构，采用支持负载均衡的千兆自适应网络组网。单机提供高达10 亿条信息的数据检索服务，可独立使用；不过在大数据处理应用中，一般采用集群架构，通过集群可支持高达千亿级数据的检索。

博亚大数据管理平台基于DB9500 的服务集群又分为检索服务器集群和数据库服务器集群：

检索服务器集群：提供有两台检索服务器管理节点，其中一台为主用，一台为备用，以备主用服务器出现问题时，备用服务器将无缝接管。在管理服务器的下层，则为检索运算服务器节点，负责数据检索用，检索运算服务器节点之间支持负载均衡功能，当指定服务器数据处理任务繁重时，空闲服务器将会接替部分数据的处理；同时还支持冗余灾备设计，当某台或多台检索运算服务器出现故障时，其他正常服务器将接管故障服务器的工作。由此可见，博亚体育的检索服务器集群设计了完善的冗余灾备功能，且具有很强的数据检索能力；

数据库服务器集群：主要用于数据存储和计算，与检索节点集群的设计架构一样，同样设计了两台互为冗余灾备的管理节点，多台支持冗余灾备和负载均衡的数据节点（集群）。

博亚大数据管理平台的服务器集群为分布式运算形式布建，且检索集群和数据库集群的主从式架构均支持1（管理节点）:1000（数据节点）的强大管理功能，能满足当前智能交通、平安城市的海量数据检索需求。当处理数据量小于30 亿时，管理节点和数据节点将可以合并到同一台服务器中，以应对中小片区的数据管理和检索需求。

2、云架构+ 搜索引擎顶级设计

博亚基于DB9500 的大数据管理平台使用Hadoop 技术构建数据存储集群，使得计算和存储一体化；通过搜索引擎技术实现数字、文本信息等的快速检索功能。其采用资源层、数据应用服务（含数据存储和数据计算）、业务应用三层架构，将接入的原始数据进行结构化处理，通过云存储和云计算技术支撑构建能高效、精准处理的数据库，完成数据的抽象与关联，实现数据应用服务和数据的可视化管理，从而满足不同行业业务应用需求。该大数据解决方案具有四大特点：

一是海量数据结构化存储：提供高可靠性、高容错性、高准确性、高效处理性的海量数据结构化存储解决方案，支持无缝容量扩展；

二是海量数据的高精准检索： 结合Hadoop 架构和安防数据特征，创新推出时空数据库，具备比通用 Hadoop 更快的检索和计算能力，支持百亿记录的秒级高速查询；

三是海量数据分布式计算：支持批量计算、内存迭代计算、流式计算等多种分布式计算框架，结合行业数据特征的定制优化，大幅提升处理性能；

四是数据增值应用：基于基本的数据分析和检索，实现数据可视化管理、可视化检索；并由此推出全景布控、系统性/ 规律性综合分析、事件关联性判断、事态发展预测等上层应用，实现深层次智能管理需求。

3、极速优化：秒级检索，精准分析

博亚基于DB9500 的大数据管理平台开发了多种大数据模型，可实现案件管理、警情管理、快速车辆查询、快速车辆研判、车辆布控管理（如黑白红名单过滤、占用公交车道布控、模糊车牌布控等，支持布控时间段设定）、流量统计（可根据卡口、车道、时间等条件筛选）、积分模型等大数据应用功能，另可与回放、电视墙、数字矩阵、地图、违法处罚、告警、录像锁定等功能模块联动。适用于公安、交通、司法、能源、文教等行业的超大容量数据存储及分析业务需求，并针对不同行业提供定制化优化服务，以公安行业应用为例介绍，其在提供精确查询、布尔查询、模糊查询等多种检索模式下，植入了近实时索引、时间过滤/ 排序优化及其它用户个性化定制功能（如相似车牌检索、公安行业专用术语词库、多组织勾选等）。

百亿数据查询性能测试结果（775 种不同的查询条件）

测试所引用数据来自博亚丹东项目，数据容量＞ 37 亿，本次在快速车辆查询模块中执行的卡口机动车、外地机动车、区间机动车、违法等条件查询（细分筛选条件类型多样，如车速、车牌号、车色等，并可定义车牌前缀，加快检索速度），所需时间均在1s 以内完成，处理速度非常快。对查询到的记录，还可进行过车处理（如车牌未能正确识别，可关联到对应图片或录像后手动修正）、关联案件、查看轨迹操作。

在平台的快速车辆研判模块中，提供有套牌、跟车关联、车辆频度、车辆轨迹碰撞、昼伏夜出、频繁夜出、高危时段、多次进城不出城、首次进城等应用分析，可解决车辆行为异常、犯罪分子踩点、违法犯罪轨迹、潜在犯罪行为、交通违规、案件侦破线索等公安刑侦大数据分析需求，以及失物寻回等民生需求。在本模块中，基于37 亿数据库，所有实操检索所需时间亦在1s 以内快速完成。据介绍，该平台在丹东运行不到2 年的时间里，横扫套牌不法行为，实现了0 套牌管理。

除了特定类型研判，平台还提供有车辆积分模型分析功能，通过自定义积分内容及分值，当设定行为达到设定分值时，将会自动锁定目标或告警；或是便于研究员对不同积分内容在不同时间段、不同区域、不同角色等条件下的数据分析及研判，以为道路规划、交通压力、警力布控等综合城市规划建设提供有价值的参考意见。

产品特色

1、服务器及集群组网能力强；
2、容量巨大，支持千亿级大数据检索；
3、极速检索：百亿级数据秒级检索，处理速度快而准；
4、功能丰富：提供有检索、研判、布控、处警等功能模块，且各模块联动性强；
5、提供大数据研判功能，深度、全局分析行为关联性、潜在危害、事件发展态势等，并可为城市建设决策提供数据参考依据；
6、行业渗透性高：所有检索及研判，有丰富的筛选条件，有效提高应用的精度和效率；
7、实用性强：针对平安城市现存问题和潜在问题开发；