博亚体育app官网入口

云存储技术在视频监控里的发展和应用(《中国公共安全》)

编者按:全世界每天产生的数据量近200T,以云存储为核心的解决方案将逐步取代传统存储。而云存储在视频监控领域,以虚拟化、数据沉淀、通用硬件架构,作为关键发展技术。

IDC研究表明,数字领域存在着 1.8 万亿 GB 的数据,企业数据正在以 55% 的速度逐年增长。全世界粗略估计有至少1亿个摄像头在角落里静静的看着我们,每天产生的数据量近200T,作为数据的承载体---传统的存储设备已经无法满足需求,存储对象也由之前的单一的存储设备,转变成云存储解决方案的整体交付。

何为"云存储"

云存储是通过网络提供的可配置虚拟化存储和相关数据服务,这个服务级别是可以按需要来保证的。云存储的第一个涵义是网络,早期通过云的图示表示网络,这是云存储的由来。"云存储"实际上借助了网络的概念,所以涵括了部分网络在内;另一个含义就是它的服务,虚拟化存储,提供存储池,屏蔽后台的所有细节,提供传统的存储很难做到按需服务。

"云存储"其实是"云计算"落地的基础和底层的保障,,以对象为基础,提供统一的交付平台,带给用户直观深刻的改变,颠覆以往的产品形态,涵盖商业,客户服务的方式、业务流程,甚至管理模式和理念。

"云存储"有许多的定义,大家公认的基本元素有:按需自动服务、资源池、快速灵活、广泛的网络接入等。云存储中的一种典型存储方式为分布式存储架构。在这种方式中,一般采用带外虚拟化的方式管理存储设备,元数据管理和数据传输都是通过网络来完成。这种虚拟化存储系统主要有四类不同的存储设备。

客户端:客户端向外为客户提供各种应用服务,如万维网服务、数据库、文件服务、科学计算等。客户端上运行存储代理软件,提供网络虚拟设备供应用程序读写访问

配置管理服务器:配置管理服务器用来进行系统的配置和管理。通过Internet、Telnet或其它接口登陆云存储平台,以远程的方式配置和管理整个存储系统。

元数据服务器:云存储系统的元数据服务器管理着整个系统的元数据和对象数据的布局信息,负责系统的资源分配和网络虚拟磁盘的地址映射。在元数据服务器上部署的全局虚拟化存储管理软件和管理软件可管理整个存储系统的配置和运行。另外,元数据服务器实现普通存储节点之间的数据冗余关系。

对象存储节点:每个存储节点都是独立的存储设备,负责对象数据的存储、备份、迁移和恢复,并负责监控其他存储设备的运行状况和资源情况。同时,存储节点上运行着虚拟化存储管理软件,并存储了应用程序所需的数据。

虚拟化

虚拟化是云存储的主要特征之一。存储领域国际权威机构SNIA(存储网络工业协会)给出了存储虚拟化(Storage Virtualization)的定义:"通过将存储系统/子系统的内部功能从应用程序、计算服务器、网络资源中进行抽象、隐藏或隔离,实现独立于应用程序、网络的存储与数据管理"。存储虚拟化技术将底层存储设备进行抽象化统一管理,向服务器层屏蔽存储设备硬件的特殊性,而只保留其统一的逻辑特性,从而实现了存储系统的集中、统一、方便的管理。

与传统存储相比,虚拟化存储的优点主要体现在:磁盘利用率高,传统存储技术的磁盘利用率一般只有30-70%,而采用虚拟化技术后的磁盘利用率高达95%;存储灵活,可以适应不同厂商、不同类别的异构存储平台,为存储资源管理提供了更好的灵活性;管理方便,提供了一个大容量存储系统集中管理的手段,避免了由于存储设备扩充所带来的管理方面的麻烦;性能更好,虚拟化存储系统可以很好地进行负载均衡,把每一次数据访问所需的带宽合理地分配到各个存储模块上,提高了系统的整体访问带宽。

云存储是炙手可热的"大数据"中组成之一:存储单元模块。"大数据"中提及富媒体资源指的就是视频监控业务产生的大量数据,占比巨大的富媒体信息中的载体为存储设备和云存储解决方案。

存储设备或云存储解决方案作为视频监控里中结构化和非结构化数据的载体,横跨基础架构、内容信息三个维度的信息化建设的基础。如果将"富"媒体中的视频信息,从底层的动态存储到以事件或物理为索引的信息分析,再到将海量的非结构化数据转化成信息和洞察力,做到真正的"为人所用",才是大数据的真正魅力所在。

以"数据"为中心

传统的数据处理和加工是:从外界存储取出来数据,被应用程序或其他系统程序所读取并计算处理,处理完毕将其放入程序里面,整个业务流有多个处理环节,要不断地存储、读取、计算、再存储,其系统的大量时间花费在数据的迁移上,一旦数据量增加,从数据向计算迁移的环节就肯定"费时费力"。

但在大数据环境下,理念由以前的以"设备"为中心,衍变成以"数据"为中心的模式。用户根据数据具体分布,推送部署计算单元,大大减少大容量数据迁移量。

"数据沉淀"

任何行为本身都会产生数据,视频监控业务中每个物体的轨迹、每秒中呈现的数据,都是就是大数据的最原始雏形,但雏形不等于本质,拥有这些轨迹数据的本质,才能更全面、更清楚的对原始数据的认知。

无论是单一的存储设备,还是云存储的解决方案,其核心都是作为数据的载体。

在大数据时代,数据猛增,管理复杂性,多套系统负载、压力不均衡,数据计算需要在不同系统之间做迁移,造成管理非常复杂,无论针对成本、复杂性、时间等,都显得异常复杂。

通用的硬件架构

传统架构方式都是层次化的,采用封闭的硬件、封闭的操作系统,底层是存储,再往上是网络,网络上面部署服务器,服务器上面是操作系统、中间件,每层都是高度隔离。打破"高度隔离",将计算单元和存储单元就近部署,减少层和层之间的消耗。势必会导致云存储解决方案从相对封闭的硬件走向通用的硬件、标准化的OS的交付。

本文见刊于《中国安防》8月刊

博亚帮APP

博亚帮APP
渠道合作伙伴量身定制