科多大数据培训
全国24小时免费热线
15328019568
联系QQ
3048661160
开班时间
当前位置:首页 > 学习资讯 > 大数据内容 >

企业创新中的大数据挖掘技术

正在发生的大数据变革,恐怕是人类技术发展中最重要的话题之一,它冲击着许多主要的行业,包括零售业、服务业、电子商务和金融领域等,同时大数据技术也正在彻底的改变我们的

   正在发生的大数据变革,恐怕是人类技术发展中最重要的话题之一,它冲击着许多主要的行业,包括零售业、服务业、电子商务和金融领域等,同时大数据技术也正在彻底的改变我们的日常生活。如果把数据比作是矿石的话,大数据挖掘技术就是要从矿石中提炼出黄金,并形成各种精致的制成品发挥作用的过程。它既能够通过移动应用和云服务追踪和提升个人的生活品质,也能为现代企业带来更高效和稳健的管理方式。小到个人,大到企业和国家,大数据均是极度重要的一个议题,需要我们真正的深入理解它。
大数据挖掘技术
    大数据挖掘的方法、流程和场景
    1、大数据采集的特点
    大数据应用的第一步就是采集数据。巧妇难为无米之炊,数据采集的完整性、准确性,决定了数据应用是否能真实可靠的发挥作用。大数据时代的数据采集有如下三个特点:
    1) 数据采集以自动化手段为主,要尽量摆脱人工录入的方式;
    2) 采集内容以全量采集为主,要摆脱对数据进行采样的方式;
    3) 采集方式多样化、内容丰富化,摆脱以往只采集基本数据的方式。
    从采集数据的类型上看,不仅要涵盖基础的结构化交易数据,还将逐步包括半结构化的用户行为数据,网状的社交关系数据,文本或音频类型的用户意见和反馈数据,设备和传感器采集的周期性数据,网络爬虫获取的互联网数据,以及未来越来越多有潜在意义的各类数据。
    2、常见数据采集技术
    传统的数据采集方法包括人工录入、调查问卷、电话随访等方式,大数据时代到来后,一个突出的变化是数据采集的方法有了质的飞跃,下面所介绍的数据采集方式的突破直接改变着大数据应用的场景。
    移动互联网的兴起让面向移动设备的数据采集技术有了迅速发展,目前使用最多的常称为Android或iOS的采集SDK(Software Develop Kit),这种技术能帮助统计APP的基础数据,包括用户数、活跃情况、流失比例、使用时长等;用户的位置、安装列表、通讯情况等通过授权也可以采集。网络爬虫是另一类广泛使用的互联网采集技术,常被用于进行大规模全网信息采集、舆情监控、竞品分析等领域。
    数据采集
    移动互联网和可穿戴传感器等新型数据采集技术蓬勃发展
    物联网也和大数据息息相关,因为物联网的关键技术之一是无线射频标签(RFID):当安装有RFID微型标签的读卡器在近距离发出信号时,带有RFID的物品能自动返回其唯一的序列号,这样就能实现自动大批量辨识物品信息的工作。RFID技术解决了物品信息与互联网实现自动连接的问题,结合后续的大数据挖掘工作,能发挥其强大的威力。
    在工业制造业里,传感器(Sensor)是另一类常见的大数据采集装置,它能将测量到的信息按一定规律变换为电信号输出,通常用于自动检测和控制等环节。传感器的种类极为丰富:大到机械设备、汽车、飞机、建筑物,小到一部智能手机、一个智能设备,都可以安装很多种传感器,传递温度、压力、位置、位移、光敏、距离、化学感应、生物、磁场等各类信号。未来携带传感器+大数据平台的智能设备将越来越多,基于传感器数据的大数据应用才刚刚起步,如智能医疗,智慧城市等,这方面有着广阔的前景。
    数据存储技术的发展和演进
    传统企业信息化系统采用关系数据库来进行数据存储,其中规模较大的通常被称为“数据集市”(Data Mart)。随着采集数据的种类越来越多,部分行业领先的公司看到了把不同数据集市集中到一个大系统中的价值,这个大系统称为企业级数据仓库(Enterprise Data Warehouse, EDW),由专门的数据团队(或称为数据中心)负责集中式的数据管理和维护。
    数据存储
    随着数据量的惊人增长,已经使用了20余年的传统数据库再也无法支撑起新的存储需求了,所以被Google称为Big Table和GFS的新型存储技术在过去的几年里被发明出来,并在行业中广泛应用,这些技术通过自动调配上万台服务器协同工作,能完成高性能和高可靠的数据存储任务,为大数据的运用铺平了道路。
    云计算与大数据
    云计算可谓是大数据的最好载体。由于大数据存储和运算非常复杂,传统企业在运作时需要投入很高的人力物力,因此把涉及存储运算的基础设施抽象和独立出来,形成的专门性服务称为云计算(Cloud Computing)。云计算就好比大数据时代的“电”,大数据系统则是“家用电器”——云计算注重服务的通用性,大数据关注实际的用途和效果。
    云计算服务分为两大类:公有云和私有云。公有云是在开放网络中为客户提供服务,用户并不完全拥有云资源。私有云是为特定客户单独使用而构建的,独占使用的服务资源。使用公有云,相当于通过一根电线接入供电网;使用私有云,相当于在家里安装了一台发电机。
    云计算的出现大大降低了大数据应用的门槛,未来无论是企业还是个人应用,采用云计算作为载体,大数据作为上层应用的方式将是最优的发展方向。
    大数据挖掘原理和技术生态
    在解决了大数据采集、存储的问题后,最重要的环节是大数据挖掘技术。着名的Map-Reduce的计算框架很好的解决了大数据挖掘的性能问题,被产业界广泛使用,基于Map-Reduce原理最为知名的开源实现方案称为Hadoop。
    在Map-Reduce基础上,近1-2年来一些新的流式计算技术也被国际知名公司和大学提出,例如twitter提出的Storm,Yahoo的S4,UC Berkeley的Spark,斯坦福大学的Phoenix等新技术。围绕这些核心的挖掘平台,现在已经形成了一整套大数据挖掘技术生态,为上层的数据应用奠定了基础。
    大数据挖掘
    大数据挖掘应用中最常见的数据类型称为结构化数据,定义为存储在数据库里,能用二维表结构来逻辑表达实现的数据。结构化数据常用于记录生产、业务、交易、客户信息等方面的数据,这些数据规模较小,内容规范,含义明确,处理方式成熟,可以方便的产生各类数据报表,为企业运作提供最直接的依据。
    以典型的制造型企业运作为例,其资产负债表、现金流表等核心财务报表,均出自于结构化数据的统计分析;其业务相关的库存、销量、分品类货物流转等数据,也通过类似的方式来产生。
    如果是面向互联网业务的新型企业,则会更关注诸如网站的流量、移动APP的日活跃用户数(DAU,Daily Active Users)、登录用户数、停留时间等数据,这类数据统计则很多来源于半结构化数据,网络访问日志就是典型的一种半结构化数据。半结构化数据具有可被理解的逻辑流程和格式,但这些格式并不是用户友好的,有价值的信息参杂在大量的噪声和无用的数据中,分析起来比结构化数据复杂。
    数据类型
    比半结构化数据更复杂的是非结构化数据。文本信息是目前已记录的数量最为庞大的数据形式,例如网页中的文字内容、聊天记录、电子邮件,企业的各类文档等,它们包含了大量有价值的信息,对它们的分析处理催生出了自然语言处理(NLP , Natural Language Processing)这样专门的计算机学科。
    大数据处理难度最高的是多媒体类的非结构化数据,包括图像、语音、视频等,对这些数据的深入挖掘和理解,能产生非常多新颖实用的功能,如自动监控、人脸识别、自动驾驶等。近年来Google、Facebook等公司积极进行深度学习(Deep Learning)相关技术的研发,用大规模机器学习的技术来解读多媒体的数据,已经取得了非常可观的进步。(陈运文博士)
    非结构数据
    对各种类似数据的挖掘和处理还远没有结束,存在巨大的应用潜力。相信大数据系统在不久的将来能产生越来越多令人惊叹的功能,甚至改变大量产业的形态。
    大数据应用的策略、方式和收益
    数据统计是大数据的最直接应用
    数据统计是大数据应用的最直观的形式,数据统计在企业中常被称为商业智能(BI, Business Intelligence)系统,使用者们通过观察数据报表来掌握企业的经营状况,发现企业运营的问题。大数据技术利用各种分析方法和工具在大规模海量数据中建立模型和发现数据间的潜在关系,帮助管理者们发现着眼点。
    统计
    随着技术的进步,数据统计应用发展的越来越迅速,例如传统按周按天生成的数据报表,可以缩短为小时级甚至分钟级,同时报表的细分刻画能力也更强,有助于更及时的掌握业务变化情况,更深入了解变化的细节。
    个性化技术蕴藏巨大价值
    每个人生来就是与众不同的,需求也天然是个性化的。以时装产业为例,每个用户穿着打扮的口味、偏好、喜爱的款式是各不相同的,大数据能充分发挥所长,挖掘出用户的个性化需求并加以满足。亚马逊公司(Amazon)通过挖掘用户在线的浏览行为和购买记录,成功挖掘出了用户个性化模型并进行针对性商品推荐,极大促进了商品的购买率。目前亚马逊上超过30%的购买收入由个性化推荐系统所贡献,是了不起的成就。
    个性化推荐
    私人订制就是个性化的一个典型案例,以往私人订制是高端人群独有的服务,价格昂贵,耗时耗力,而大数据技术能将定制过程自动化,降低成本,让普罗大众享受到个性化服务的优势。亚马逊(Amazon)总裁杰夫·贝佐斯曾说过:“如果我的网站有一百万个顾客,我就应该有一百万个商店”。
    个性化数据技术对合理调配企业资源也有积极的意义,例如美国的Dunnhumby Shop公司通过分析消费者来访问超市的时间和消费明细,对不同顾客群体采取针对性的促销手段,同时帮助供应商对不同区域制订合理有效的价格和库存和配送方案,合理的节约了运营成本。
    最有吸引力的应用:预测技术
    我们每天都在进行着大大小小的预测:如预测从家里出发到工作地点所需要的时间;预测某款产品发布以后一个月内的订单量。预测的愈准确,则成功的把握愈大。如果我们拥有百分之百准确的预测能力,像先知穆罕默德那样,就会变得无往不利。
    预测
    谁能预知未来?——大数据技术能帮你做到,因为它熟知过去。随着技术的进步,借助时间序列分析技术,·通过对趋势、季节变动、循环波动和不规则波动的因素的细致把握,大数据正在赋予我们更强的洞察未来的能力。
    美国第二大连锁超市Target,通过大数据技术分析顾客的详细购买记录,判断出某位还在读书的年轻女孩已经怀孕了,并给她寄去了大量婴儿用品的优惠券,这位女孩的父亲收到优惠券后极为惊讶,经过和女儿的进一步沟通才发现真的已经有孕在身了。大数据技术比父亲更早预测出了真相,这个真实的
    分类和回归技术
    如同谚语“朝霞不出门,晚霞行千里”所说的,我们常常通过经验来分析不同现象之间存在的潜在关联和因果关系。而如今大数据技术能代替人工经验来更好的分析数据间的关联关系,帮助找出规律。常见的包括两类技术,一类称为回归分析技术(Regression Analysis),它通过统计科学来把握两个或多个变量间相关关系的强度。另一类称为分类技术(Classification),分类是指通过分析已标注好的训练数据,来自动的将新的未知数据按种类、等级或性质分别归类的过程。
    分类和回归是人脑最常进行的操作,现在计算机也能逐步代替人类完成这样的操作,且效率是人类的数万倍。典型的应用是英国Adzuna公司根据积累的海量职位薪酬数据,自动为招聘双方提供薪酬制定的科学依据,其最优的预测算法非常精确,生成的预测值和实际薪水值误差不到10%。Adzuna已成为英国内阁高官“幕后智囊团”,帮助英国政府了解失业率、职位空缺、薪资水平等经济发展情况,制定国策。
    辅助决策系统
    企业战略决策往往决定了企业的生死存亡,怎样才能更科学合理进行决策?华为公司总裁任正非曾说过“要让听得见炮火的人来决策”,提出了要从实际数据中产生科学决策结果。
    大数据技术基于海量一线数据,能让决策更科学,降低误判的风险。其中大数据辅助分析有一个称为GREAT的原则:Guided, Relevant, Explainable, Actionable, Timely,基于GREAT原则越来越多的企业将会用好大数据,发挥智囊团的作用。
    辅助决策
大数据挖掘技术
    图:大数据辅助分析的GREAT原则
       想要获取更多大数据学习资料,请添加大数据交流群:107743339。
       文章来自36大数据
标签:
最新资讯更多+
内容推荐更多+
在线课堂
猜你喜欢