科多大数据培训
全国24小时免费热线
15328019568
联系QQ
3048661160
开班时间
当前位置:首页 > 学习资讯 >

大数据培训学习技术应用:大数据的视频智能分析系统

大数据产业的不断布局,大数据技术在营销、金融等行业用来分析客户行为指导精准营销,已经取得了广泛成功,但是大数据技术运用在视频监控领域还不够成熟,科多大数据培训学习

  大数据产业的不断布局,大数据技术在营销、金融等行业用来分析客户行为指导精准营销,已经取得了广泛成功,但是大数据技术运用在视频监控领域还不够成熟,科多大数据培训学习的过程中也会涉及到视频监控的实战项目,希望能和小伙伴们一起共同探讨。
  在平安城市建设中,视频监控数据是十分重要的业务数据,其能够提高公安的破案效率。现如今,公安机关对视频数据的依赖越来越强,视频数据也实实在在的提高了公安的办案效率,随着大数据和视频分析技术的发展,视频监控数据将会发挥越来越大的作用。因此,对大数据技术在视频监控领域的应用进行详细探究具有十分重要的现实意义。
大数据培训学习技术应用:大数据的视频智能分析系统
  一、大数据技术概述
  1、分布式存储机制
  针对大数据高并发的存储访问需求及横向扩展的能力要求,从存储资源管理、多用户的资源使用和存储环境隔离机制,以及大数据存储机制等方面开展研究。
  1)对数据资源的管理方法为了解决集群存储情景下的存储资源有序管理难题,采用资源数据映射方法通过在物理存储地址和虚拟存储地址请求之间建立合理的映射关系,来进行有效的存储资源管理。
  2)对数据资源的存储机制大数据架构的对数据的描述形式灵活多样,有结构化的、半结构化的和非结构化的。针对结构化的规则数据,虽然现在出现了各种各样的数据库类型,比如oracle、SQLServer、Mysql等,常用的处理方式仍是采用关系型数据库进行处理;对于半结构化和非结构化的数据,采用通过预处理后,以资源描述文件及数据节点来表达,典型的架构就是hadoop。
  2、并行计算技术
  1)面向多源整合的大数据索引和描述技术大数据具有多类别的特点,针对这一特征,建立以类别为内容的分类索引,通过分类索引的综合查询到所需的专题数据。
  2)基于分布并行的特征提取、视频摘要技术进行特征提取、视频摘要的高效快速处理,利用传统的CPU算法很难实现,采用GPU算法及并行处理进行加速可以得到非常好的效果。
  二、当前公安视频监控面临的主要问题
  1、视频资源数量庞大,但利用率低下
  2004年6月,为了全面推进科技强警战略的推行,公安部、科技部在21个省市试行了第一批科技强警示范城市创建工作。随后推出了一系列平安城市建设战略布局。经过近13年的积累,公安部门积累了海量的视频数据资源。但是由于缺乏有效的视频数据分析手段,95%的视频资源仅仅是存储公安系统中,占用大量存储资源,但却未起到应有的作用。造成了国家资源的严重浪费。
  2、人工查看、分析视频,使用效率低下
  现如今,在城市视频监控系统的实际运行过程中,其主要作用是对视频信息进行采集、传输以及存储,在视频处理方面无法发挥作用,如果需要对视频资料进行处理,则一般需要采用人工处理方式,依靠人脑看视频,依据办案人员经验从视频中找出有效线索信息。这一点在一定程度上制约了城市安防建设发展,导致城市安防管理水平无法得到提高。
  三、大数据在视频智能分析中的应用优势
  公安系统的视频专网是相通的,在视频专网内部可以进行无障碍的网络连通。大数据的分布式存储技术,可将存储于不同位置的视频经过特定的配置处理后使其可以接受大数据处理系统的统一调用。这就为实现视频资源的统一整合、利用提供的条件。
  另外,大数据的并行处理技术,可以将一个超大的视频智能分析的任务,分解成多个并行处理的小任务,分别进行处理,然后将处理结果进行合并后得出最终分析结果。这在很大程度上提高了视频智能分析的效率。
  将大数据技术应用于视频智能分析中,其应用优势主要体现在分布式处理以及统一调度、并行运算处理这两个方面:(1)大数据的分布式处理,使得存储于统一网络、不同物理位置的视频,可以通过简单配置后统一的纳入大数据系统分析范畴。这就解决了视频资源分布与各个不同区县、省市的问题。(2)统一调度、并行运算处理,通过大数据系统可以将一个耗时24小时的任务,分成24份后,分配给24个虚拟处理机分布处理,处理完成后将结果合并,得到最终大数据分析结果,其处理时长缩短20倍以上。在计算资源部受限情况下,处理任何视频数据的理论时长都可以极大缩短。
  四、云计算技术在平安城市视频监控中的应用
  1、系统模式
  基于大数据生命周期过程,并兼顾大数据应用发展的需要,在设计建设视频大数据平台最好搭建在云平台上,以确保大数据计算资源可以按需分配。视频大数据平台作为大数据技术的基础支撑平台构建大数据分析框架,实现视频、图像及大数据分析的基础算法和服务;视频大数据应用是具体业务应用的实现,将根据实际的应用需求,基于视频大数据平台提供资源和服务。
  对视频大数据平台及视频大数据应用的总体技术框架分为数据接入层、基础设施层、平台架构层、分析服务层。
  数据接入层:数据进入视频大数据平台的入口,针对不同类型的数据开发数据接入接口,进行对数据的缓冲、存储等,采集的源数据主要为各级视频监控系统中需要进行分析处理的视频、图像数据和结构化数据。
  基础设施层:基础设施包括计算资源和存储资源,主要基于大数据中心平台提供的Hadoop服务建立。
  平台架构层:平台架构分为非结构化处理平台和结构化处理平台两大部分,其中非结构化处理平台参考Hadoop框架设计,并建立了常用的视频、图像智能识别服务,可以从视频、图像中识别出结构化数据;结构化数据处理平台采用数据仓库架构,对数据建立主题库存储,为大数据分析提供基础数据。两者之间需要紧密结合,尤其是非结构化数据处理完成后,需要将分析结果存入数据仓库中,利用数据仓库的成熟管理技术进行进一步管理与分析。此外,结构化的分析数据还可以进行共享,实现数据价值的充分挖掘和利用。
  分析服务层:根据上层应用类型的不同特点,提供了各种分析工具和引擎,包括各类型视频和图像识别、分析、处理服务、报表开发与定制工具,数据挖掘与建模工具,以及常规业务应用的开发平台等。
  2、流程设计
  大数据的价值产生于分析过程。视频大数据分析可以分为两个阶段,一是视频智能化识别,二是基于海量结构化特征数据的大数据分析。
  视频分析功能由解析调度模块、分析队列管理模块、任务分解模块、任务封装模块、分发传输模块、解析处理机、大数据系统(以Hadoop架构为例)构成,分析的大致流程如下:
  1)解析调度模块:根据输入的数据源及相关指令信息,将处理任务打包成解析对象包发送给分析队列管理模块,并通知视频分解模块将原始视频进行切片。
  2)任务分解模块根据调度模块指令,将接收到的视频切片,输出一个一个的子视频包,并将子视频包传送至任务封装模块。
  3)任务封装模块,将接收到的子视频进行信息抽取、切开前的状态信息、处理算法选择等信息封装到任务包中。经过任务封装模块处理,一个大型的处理任务就被分解、封装成一个一个可以独立处理的子任务包。
  4)分发传输模块,分发传输模块将各个子任务发送到分布式处理机的各个并发处理机上,并做好状态记录。
  5)各个并发处理机同时运行处理所接收到的子任务,处理完成后返回完成状态给解析调度模块,通知解析调度模块对结果进行合成。
  6)解析调度模块解析处理机反馈的各个结果包信息后,结果进行合并。
  7)将处理结果返回给请求单元。
  3、系统拓扑设计
  视频大数据平台部署在底层虚拟化环境中,计算节点由云计算中心提供,存储节点由大数据存储中心提供,主要提供分布式计算服务和基础的视频大数据分析应用。视频资源由省或市的视频平台提供,视频大数据平台仅存储和维护经过分析识别的结构化数据。
  视频大数据应用基于视频大数据平台进行建设,可以基于底层云计算平台或各部门现有的基础设施部署,通过对视频大数据平台提供的分析和计算服务组装,实现大数据分析应用。
  科多大数据相信,在未来平安城市建设中,基于大数据的视频智能分析将发挥越来越重要的作用。视频智能分析算法发展迅速,将其与大数据技术进行有效结合,并应用于平安城市建设中,能够有效提升平安城市建设水平、提供办案、破案效率,促进城市安防能力的提升。
最新资讯更多+
内容推荐更多+
在线课堂
猜你喜欢