神经元网络，神经网络momentum 是什么意思

1，神经网络momentum 是什么意思

weigth decay的作用是用来放在cost function中作为正则项，来防止overfitting的，这样做的目的是使不重要的特征项权重变小。

神经网络momentum 是什么意思

2，什么是BP神经网络

BP算法的基本思想是：学习过程由信号正向传播与误差的反向回传两个部分组成；正向传播时，输入样本从输入层传入，经各隐层依次逐层处理，传向输出层，若输出层输出与期望不符，则将误差作为调整信号逐层反向回传，对神经元之间的连接权矩阵做出处理，使误差减小。经反复学习，最终使误差减小到可接受的范围。具体步骤如下： 1、从训练集中取出某一样本，把信息输入网络中。 2、通过各节点间的连接情况正向逐层处理后，得到神经网络的实际输出。 3、计算网络实际输出与期望输出的误差。 4、将误差逐层反向回传至之前各层，并按一定原则将误差信号加载到连接权值上，使整个神经网络的连接权值向误差减小的方向转化。 5、対训练集中每一个输入—输出样本对重复以上步骤，直到整个训练样本集的误差减小到符合要求为止。

什么是BP神经网络

3，什么是lvq神经网络

学习向量量化LVQ(Learning Vector Quantization)神经网络，属于前向神经网络类型，在模式识别和优化领域有着广泛的的应用。 LVQ神经网络由三层组成，即输入层、隐含层和输出层，网络在输入层与隐含层间为完全连接，而在隐含层与输出层间为部分连接，每个输出层神经元与隐含层神经元的不同组相连接。隐含层和输出层神经元之间的连接权值固定为1。输入层和隐含层神经元间连接的权值建立参考矢量的分量（对每个隐含神经元指定一个参考矢量）。在网络训练过程中，这些权值被修改。隐含层神经元（又称为Kohnen神经元）和输出神经元都具有二进制输出值。当某个输入模式被送至网络时，参考矢量最接近输入模式的隐含神经元因获得激发而赢得竞争，因而允许它产生一个“1”，而其它隐含层神经元都被迫产生“0”。与包含获胜神经元的隐含层神经元组相连接的输出神经元也发出“1”，而其它输出神经元均发出“0”。产生“1”的输出神经元给出输入模式的类，由此可见，每个输出神经元被用于表示不同的类。

什么是lvq神经网络

4，神经网络的分类

神经网络有多种分类方式，例如，按网络性能可分为连续型与离散型网络，确定型与随机型网络:按网络拓扑结构可分为前向神经网络与反馈神经网络。本章土要简介前向神经网络、反馈神经网络和自组织特征映射神经网络。前向神经网络是数据挖掘中广为应用的一种网络，其原理或算法也是很多神经网络模型的基础。径向基函数神经网络就是一种前向型神经网络。 Hopfield神经网络是反馈网络的代表。Hvpfi}ld网络的原型是一个非线性动力学系统，目前，已经在联想记忆和优化计算中得到成功应用。模拟退火算法是为解决优化计算中局部极小问题提出的。Baltzmann机是具有随机输出值单元的随机神经网络，串行的Baltzmann机可以看作是对二次组合优化问题的模拟退火算法的具体实现，同时它还可以模拟外界的概率分布，实现概率意义上的联想记忆。自组织竞争型神经网络的特点是能识别环境的特征并自动聚类。自组织竟争型神经网络已成功应用于特征抽取和大规模数据处理。

人类大脑的思维分为抽象（逻辑）思维、形象（直观）思维和灵感（顿悟）思维三种基本方式。　　逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1.信息是通过神经元上的兴奋模式分布储在网络上;2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。　　人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。

这个概念太广了

5，什么是神经网络法

神经网络的介绍2006-10-23 14:58原文摘自:(http://www.cnweblog.com/alsan/articles/14621.html) Introduction -------------------------------------------------------------------------------- 神经网络是新技术领域中的一个时尚词汇。很多人听过这个词，但很少人真正明白它是什么。本文的目的是介绍所有关于神经网络的基本包括它的功能、一般结构、相关术语、类型及其应用。 “神经网络”这个词实际是来自于生物学，而我们所指的神经网络正确的名称应该是“人工神经网络（ANNs）”。在本文，我会同时使用这两个互换的术语。一个真正的神经网络是由数个至数十亿个被称为神经元的细胞（组成我们大脑的微小细胞）所组成，它们以不同方式连接而型成网络。人工神经网络就是尝试模拟这种生物学上的体系结构及其操作。在这里有一个难题：我们对生物学上的神经网络知道的不多！因此，不同类型之间的神经网络体系结构有很大的不同，我们所知道的只是神经元基本的结构。 The neuron -------------------------------------------------------------------------------- 虽然已经确认在我们的大脑中有大约50至500种不同的神经元，但它们大部份都是基于基本神经元的特别细胞。基本神经元包含有synapses、soma、axon及dendrites。Synapses负责神经元之间的连接，它们不是直接物理上连接的，而是它们之间有一个很小的空隙允许电子讯号从一个神经元跳到另一个神经元。然后这些电子讯号会交给soma处理及以其内部电子讯号将处理结果传递给axon。而axon会将这些讯号分发给dendrites。最后，dendrites带着这些讯号再交给其它的synapses，再继续下一个循环。如同生物学上的基本神经元，人工的神经网络也有基本的神经元。每个神经元有特定数量的输入，也会为每个神经元设定权重（weight）。权重是对所输入的资料的重要性的一个指标。然后，神经元会计算出权重合计值（net value），而权重合计值就是将所有输入乘以它们的权重的合计。每个神经元都有它们各自的临界值（threshold），而当权重合计值大于临界值时，神经元会输出1。相反，则输出0。最后，输出会被传送给与该神经元连接的其它神经元继续剩余的计算。 Learning -------------------------------------------------------------------------------- 正如上述所写，问题的核心是权重及临界值是该如何设定的呢？世界上有很多不同的训练方式，就如网络类型一样多。但有些比较出名的包括back-propagation, delta rule及Kohonen训练模式。由于结构体系的不同，训练的规则也不相同，但大部份的规则可以被分为二大类别 - 监管的及非监管的。监管方式的训练规则需要“教师”告诉他们特定的输入应该作出怎样的输出。然后训练规则会调整所有需要的权重值（这是网络中是非常复杂的），而整个过程会重头开始直至数据可以被网络正确的分析出来。监管方式的训练模式包括有back-propagation及delta rule。非监管方式的规则无需教师，因为他们所产生的输出会被进一步评估。 Architecture -------------------------------------------------------------------------------- 在神经网络中，遵守明确的规则一词是最“模糊不清”的。因为有太多不同种类的网络，由简单的布尔网络（Perceptrons），至复杂的自我调整网络（Kohonen），至热动态性网络模型（Boltzmann machines）！而这些，都遵守一个网络体系结构的标准。一个网络包括有多个神经元“层”，输入层、隐蔽层及输出层。输入层负责接收输入及分发到隐蔽层（因为用户看不见这些层，所以见做隐蔽层）。这些隐蔽层负责所需的计算及输出结果给输出层，而用户则可以看到最终结果。现在，为免混淆，不会在这里更深入的探讨体系结构这一话题。对于不同神经网络的更多详细资料可以看Generation5 essays 尽管我们讨论过神经元、训练及体系结构，但我们还不清楚神经网络实际做些什么。 The Function of ANNs -------------------------------------------------------------------------------- 神经网络被设计为与图案一起工作 - 它们可以被分为分类式或联想式。分类式网络可以接受一组数，然后将其分类。例如ONR程序接受一个数字的影象而输出这个数字。或者PPDA32程序接受一个坐标而将它分类成A类或B类（类别是由所提供的训练决定的）。更多实际用途可以看Applications in the Military中的军事雷达，该雷达可以分别出车辆或树。联想模式接受一组数而输出另一组。例如HIR程序接受一个脏图像而输出一个它所学过而最接近的一个图像。联想模式更可应用于复杂的应用程序，如签名、面部、指纹识别等。 The Ups and Downs of Neural Networks -------------------------------------------------------------------------------- 神经网络在这个领域中有很多优点，使得它越来越流行。它在类型分类/识别方面非常出色。神经网络可以处理例外及不正常的输入数据，这对于很多系统都很重要（例如雷达及声波定位系统）。很多神经网络都是模仿生物神经网络的，即是他们仿照大脑的运作方式工作。神经网络也得助于神经系统科学的发展，使它可以像人类一样准确地辨别物件而有电脑的速度！前途是光明的，但现在... 是的，神经网络也有些不好的地方。这通常都是因为缺乏足够强大的硬件。神经网络的力量源自于以并行方式处理资讯，即是同时处理多项数据。因此，要一个串行的机器模拟并行处理是非常耗时的。神经网络的另一个问题是对某一个问题构建网络所定义的条件不足 - 有太多因素需要考虑：训练的算法、体系结构、每层的神经元个数、有多少层、数据的表现等，还有其它更多因素。因此，随着时间越来越重要，大部份公司不可能负担重复的开发神经网络去有效地解决问题。 Conclusion -------------------------------------------------------------------------------- 希望您可以通过本文对神经网络有基本的认识。Generation5现在有很多关于神经网络的资料可以查阅，包括文章及程序。我们有Hopfield、perceptrons（2个）网络的例子，及一些back-propagation个案研究。 Glossary -------------------------------------------------------------------------------- NN 神经网络，Neural Network ANNs 人工神经网络，Artificial Neural Networks neurons 神经元 synapses 神经键 self-organizing networks 自我调整网络 networks modelling thermodynamic properties 热动态性网络模型