科多大数据培训
全国24小时免费热线
15328019568
联系QQ
3048661160
开班时间
当前位置:首页 > 学习资讯 > 大数据内容 >

大数据培训学习:大数据分析中的计算智能方法之人工神经网络

人工神经网络是一种模仿动物神经系统行为特征进行分布式并行信息处理的数学模型,具有高度的非线性映射能力、良好的容错性、自适应能力以及分布存储等优良特性,是一类重要的

  人工神经网络是一种模仿动物神经系统行为特征进行分布式并行信息处理的数学模型,具有高度的非线性映射能力、良好的容错性、自适应能力以及分布存储等优良特性,是一类重要的计算智能方法。神经网络不需要具备数据集概率分布的任何先验知识,与统计学方法相比,其限制条件更少。大数据培训基地科多带大家来详细了解一下。
大数据培训学习:大数据分析中的计算智能方法之人工神经网络
  对于多数大数据应用而言,例如设备传感器、社交网络、搜索引擎以及时域天文学等,数据是持续产生并不断变化的,因此无法像批量学习算法那样从历史数据中构建无偏训练集。此外,数据的规模和产生速度也使得数据无法一次性载入内存。解决这一问题需要发展在线学习算法,每次仅根据一个样本更新目标函数。感知器(perceptron)是一种经典的在线学习模型,也是人工神经网络中的一种典型结构。对于任意一个训练样本,感知器根据预测结果的正确与否来更新连接权重:如果预测结果正确,则权重保持不变;否则,根据输入样本的特征向量及正确的标记更新连接权重。理论上,这种更新策略产生的分类错误率与标准化后的全部训练样本到最优平面最短距离的平方成反比。目前,基于感知器的在线学习算法主要包括投票(voted)感知器算法、均值(averaged)感知器算法、权重多数(weightmajority)感知器算法、被动主动(passiveaggressive,简称PA)感知器算法、置信度权重(confidence-weighted)感知器算法、核(kernel)感知器算法。
  在大数据环境下,人们生产和采集数据的能力日益增强,手段愈发丰富,这将导致数据在规模增大的同时,属性(维度)也随之增长。这样的高维数据会带来两个问题:首先,对于特定的应用而言,一般不需要关注数据的全部属性(维度),原始数据中包含的大量冗余信息和噪声反而会隐藏其中的有价值信息;其次,高维数据严重影响算法的性能,一些在低维特征空间中有效的算法,在超过30维的特征空间中将出现性能退化。解决这一问题需要对原始数据进行约简,实现化繁为简、化难为易,滤除冗余特征。神经网络是进行数据约简的有效方法之一。一种有代表性的基于神经网络的数据约简方法是由Castellano和Fanelli提出的,通过度量输入特征与输出结果的相关程度,发现并过滤掉冗余的、次要的特征。换句话说,就是在精度允许的范围内,对已经训练好的网络结构进行修剪,删掉一些无关的输入节点,得到一个约简的网络结构,从而得到对应的特征子集。自组织映射(self-organizationmapping,简称SOM)是一种竞争学习神经网络,其具有拓扑保形的特性,最终输出的模式空间能够反映原始模式空间的分布,因此也用于把高维模式映射到低维模式,从而实现数据的约简。但SOM需要在全部映射中寻找最佳映射,计算代价大,尤其当数据规模较大时,计算效率较低。
  为此,Sagheer等人对SOM的计算效率进行了优化,提出了一种快速SOM,其主要思想是:原始数据的低阶映射或主成分(principalcomponent)往往能够反映出数据分布的显著规律,如果能够用这样的子空间代替原始特征空间,SOM就可以在特征子空间中寻找最优映射,从而减少计算的代价,以便于将SOM推广到大数据集中。Hinton等人提出了自编码器(autoencoder)的深度网络,通过中间层来重构高维输入信号,训练一个多隐层的神经网络来学习对数据更本质的刻画,将高维信号转化为低维信号,取得了明显优于传统方法的约简效果。Le等人提出了一种直接从海量未标记数据中抽取高层特征的无监督学习框架,构建了用于特定类别图像高层特征识别的大规模神经网络。该网络在大规模集群上进行训练,采用并行的策略和异步随机梯度下降(asynchronousSGD)的优化方法,其图像识别的准确性有了大幅度提升。
  Hinton等人的论文引发了深度学习的研究热潮。深度学习是受认知神经科学中人类视觉系统分层信息处理机制的启发而提出的一类多层神经网络学习算法,深度学习旨在建立一种类似于人脑信息处理机制的多层神经网络,通过逐层组合低层特征来获得更抽象的高层特征表达,以发现复杂数据内在的分布式特征表示。与人工构造特征的方式相比,深度学习直接从大数据中学习特征,能够更深刻地刻画出海量数据中蕴藏的丰富信息。虽然深度学习的思想并非近来才出现,但是计算机计算能力的提升使得训练大规模深度神经网络成为可能;同时,数据规模的增长有利于复杂的深度神经网络规避过拟合的风险,因此近几年来,深度学习以其强大的学习能力在图像识别、语音识别、自然语言理解等诸多应用领域取得了令人振奋的成果。通过深度神经网络来构建大数据分析模型,能够深刻揭示海量数据中丰富而复杂的信息,能够对未来做出更精准的预测。虽然深度学习目前仍然面临理论研究、建模、工程实现等方面的问题,但其无疑是大数据智能分析的有效解决方案之一。
  现在科多大数据已经开通线上学习平台啦!大数据开发、数据分析、python爬虫等学习视频,想要学习大数据的小伙伴们可上科多大数据官网咨询免费领取学习账号哦~
最新资讯更多+
内容推荐更多+
在线课堂
猜你喜欢