科多大数据培训
全国24小时免费热线
15328019568
联系QQ
3048661160
开班时间
当前位置:首页 > 学习资讯 > 大数据内容 >

大数据培训学习应用拓展:云计算的电力大数据和互联网大数据的区别是什么?

基于云计算的大数据分析技术已有较完整的参考架构与软件实现,并在一些行业中得到应用。然而,这些系统大多来源于互联网行业,其设计、实现以及功能特性均充分体现了互联网大

  基于云计算的大数据分析技术已有较完整的参考架构与软件实现,并在一些行业中得到应用。然而,这些系统大多来源于互联网行业,其设计、实现以及功能特性均充分体现了互联网大数据及其业务的需求与特征。当应用于互联网之外的行业时,通常做法是在对该行业的大数据特征、业务需求进行充分细致分析的基础上,针对现有系统的局限性,进行定制开发与优化。
大数据培训学习应用拓展:云计算的电力大数据和互联网大数据的区别是什么?
  什么是电力大数据?科多大数据培训带大家来学习一下。
  电力大数据指智能电网在发电、配电、输电、营销及管理等各个环节产生的大量数据。由部署于各种设备上的大量传感器、安装在各用电户家中的智能电表、营销系统收集的客户反馈等数据源产生并汇聚到集中的数据中心统一存储管理。电力大数据是建设稳定、可靠、高效、节能的智能电网的支撑性元素之一。通过分析电力大数据,能够提升智能电网的精益化管理水平,制定更科学的生产计划,优化能源输送调度,建立更准确的用户用电行为模型等。电力大数据具有体量大、类型多与速度快的3V[4]特征,具体体现为:
  1、体量大(Volume)。随着智能电网建设的深入推进,设备传感器、智能电表等终端数据收集设备得到密集部署,采集的数据规模将呈指数级激增,达到TB甚至PB量级。以浙江省为例,全省共2200万用电户,如果全部安装智能电表,按照国网公司每15min采集1条用电信息的要求,则用电记录每天新增21亿条。
  2、类型多(Variety)。除传统的结构化数据外,生产管理、营销等系统产生了大量的音视频资料等半结构化、非结构化数据。数据类型的多样性要求存储与处理技术的多样性。本文聚焦于用电信息采集数据处理系统,仍以结构化数据为主,不讨论对半结构化与非结构化数据的处理。
  3、速度快(Velocity)。电力大数据的采集与处理均具有极快的速度。终端数量的激增要求存储系统满足每秒数十万次的高通量数据存取需求。此外电力大数据还具有一些独有的特征。根据“中国电力大数据发展白皮书(2013年)”,电力大数据还具有3E的特点:
  (1)数据即能量(Energy)。电力大数据中蕴含着用户的用电规律、最佳输电调度策略等极为重要的信息。这些信息在合理安排生产、降低能耗损失等方面发挥着独特而巨大的作用,促进了电网降低能耗与可持续发展,从而体现了数据即能量的特征。
  (2)数据即交互(Exchange)。电力大数据通过与其他行业大数据的交互聚合,并进行深入挖掘分析,其蕴含的信息对国家的高层决策、经济态势判断具有极为重要的参考价值。
  (3)数据即共情(Empathy)。电力大数据为国网公司及时准确地发现并满足用户需求提供了一条全新途径。共情即感同身受。生产与营销均借助于电力大数据,向广大电力用户提供更加优质、安全、可靠的电力服务,达到共同发展的目标。
  电力大数据和互联网大数据的区别主要有3点。
  (1)在互联网场景下,典型的大数据应用需要顺序扫描整个数据集,因此,分布式并行大数据分析系统Hive或Impala等均未对索引提供良好支持;而在电力大数据分析中,多维区域查询极为常见,由于没有索引,将导致访问大量不需要的数据,并显著降低查询的执行性能。需要针对多维区域查询的特征,设计合适的索引结构以及相应的数据检索机制。
  (2)互联网大数据的典型特征是“一次写多次读”。面向这种数据特征,分布式文件系统(HDFS)及Hive均未提供数据改写(更新或删除)机制,只能通过全部覆盖现有数据的方式间接达到改写数据的目的。而在电力大数据业务场景中,存在大量数据改写语句,以覆盖现有数据的方式执行这些查询将会导致执行效率低下的问题,因此,迫切需要在现有系统中提供数据改写机制。
  (3)互联网公司根据自身的业务需求而设计的大数据查询语言,如HQL只是SQL的一个子集,而电力数据分析系统大多使用标准SQL语言编写,需要耗费大量的人力与时间才能将现有的数以万计的SQL语句翻译为等价的HQL语句。因此,需要设计一种工具,实现自动将SQL语言翻译为HQL语言,从而提升遗留应用的迁移速度,实现电力数据分析业务的无缝平滑迁移。
  基于上述分析,为满足智能电网对电力大数据深入分析、挖掘的需求,针对电力大数据及其业务逻辑的典型特征,结合云计算技术的最新进展与实际行业部署经验,研发了基于云计算的电力大数据分析系统。
  该系统基于分布式并行计算框架(Hadoop),采用Hive作为数据分析软件,并针对电力大数据特征,开发了基于网格文件的多维索引、基于查询重写的SQL到HQL自动翻译工具和支持数据更新的混合存储模型等关键技术,全面增强了Hive的性能与易用性。该系统已成功应用于浙江电力用电信息采集(下简称用采)系统,和原有基于关系数据库的系统相比,大幅提高了系统性能并降低了系统成本。
  云计算聚合了大量分布、异构的资源,向用户提供强大的海量数据存储与计算能力。云计算通过虚拟化、动态资源调配等技术向用户提供按需服务,避免资源浪费与竞争,提高资源利用率以及应用性能。想要学习云计算大数据的小伙伴们,科多大数据培训零基础大数据培训课程,线上视频课程已经更新啦~要学习的小伙伴可以上科多官网领取哦~
最新资讯更多+
内容推荐更多+
在线课堂
猜你喜欢