神经网络的一般性介绍及局部搜索训练算法主要内容人工神经网络是目前国际上信息领域中迅速发展的前沿研究方向之一，具有广泛的应用前景。对它的研究已取得了很多丰硕的成果。神经网络系统是由大量简单的处理单元（即神经元）广泛连接而成的复杂网络系统。它反映了人脑功能的许多基本特性，但它并不完全是人脑神经网络系统的真实写照，而只是对其作某种简化、抽象和模拟。神经网络的发展历史人工神经网络的研究始于本世纪40年代。1943年，心理学家McCulloch和数学家Pitts合作，融合了生物物理学和数学，提出了第一个神经元计算模型—MP模型。这种单个神经元模型功能较弱，但连接而成的网络记忆能力巨大。这种巨大的记忆能力存储在网络中足够多的神经元之间丰富的连接强度上。MP模型虽然简单，但它开创了神经网络模型的理论研究，为各种神经元模型及网络模型的研究打下了基础。1949年心理学家Hebb提出神经元之间突触联系强度可变的假设。他认为学习过程是在突触上发生的，突触的联系强度随其前后神经元的活动而变化。根据这一假说提出了改变神经元连接强度的Hebb规则。它对以后人工神经网络的结构及算法都有很大影响。直到现在，Hebb的学习算法仍在不少人工神经网络中应用。50年代末，Rosenblatt提出感知器模型，第一次把神经网络的研究付诸工程实践。这是一种学习和自组织的心理学模型，它基本上符合神经生理学的知识，模型的学习环境是有噪声的，网络构造中存在随机连接，这符合动物学习的自然环境。这是第一个真正的人工神经网络，他给出了两层感知器的收敛定理。后来的一大类神经网络模型都是感知器模型的变形。60年代末，美国著名人工智能学者Minsky和Papart对Rosenblatt的工作进行了深入的研究，写了很有影响的《感知器》一书，指出感知器的处理能力有限，单层感知器只能作线性划分，对于非线性或其他分类会遇到很大的困难。这时应采用含有隐单元的多层神经网络，但引入隐单元后找到一个有效的学习算法非常困难，Minsky断言这种感知器无科学研究价值可言，包括多层的也没有什么意义。这个结论对当时的神经网络研究无疑是一个沉重的打击，客观上对神经网络的研究起了一定的消极作用。同时当时的微电子技术也无法为神经网络的研究提供有效的技术保障。故在其后的十几年内，从事神经网络研究的人数及经费支持大大下降，神经网络研究处于低潮。然而在此期间，仍有为数不多的学者致力于神经网络的研究，1969年Grossberg等提出了自适应共振理论模型。1972年Kohenen提出自组织映射的理论模型，并称神经网络为联想存贮器。所有这些理论为神经网络的进一步发展奠定了理论基础。1982年，美国加州工程学院物理学家Hopfield提出了一个用于联想记忆及优化计算的新途径—Hopfield模型，并于1984年进行修改，提出了利用模拟电路的基础元件构成了人工神经网络的硬件原理模型，为实现硬件奠定了基础。1985年Hopfield和Tank提出用神经网络解决优化问题。这一时期还有一个以Rumelhart和McClelland为首的并行分布处理（PDP）的研究小组，他们提出了多层网络学习的误差反向传播学习算法（BP算法），解决了多层网络的学习问题，从实践上证实了人工神经网络具有很强的学习能力，并不象Minsky等人预料的那样弱，相反它可以完成许多学习任务，解决许多实际问题，也因此推动了前馈式神经网络的研究。BP算法目前已成为迄今为止应用最普遍的神经网络学习算法。人工神经元的模型输入函数活化函数前馈式神经网络前馈式神经网络的逼近能力BP算法BP算法权值修正公式BP算法的不足局部搜索训练算法局部搜索算法局部搜索算法简单然而高效，究其原因在于它的多次重复搜索操作，虽然从某个初始点出发的成功的可能性较小，然而多次重复之后，却能以很大的概率求得问题的解，对此顾钧[21]从n重贝努利实验的角度做了非常精彩的分析。因此，我们需要为算法设计一个随机扰动策略，以得到较好的初始点。首先，需要判断是否已陷入局部极小，为此我们采用了两个标准来判断：(1)连续常数(比如10)个训练步内没有搜索到更好的解；(2)连续常数(比如100)个收敛步内收敛的程度太小。基本算法在每一个训练步内只有一个变量的值在改变，对三层感知器来说，也就只有一个隐含层节点的隐含权或者输出层节点的输出权发生改变。若是前者，就会导致一个隐含层节点的输出发生改变，其它隐含层节点的输出不变，但所有输出层节点的输出都会改变；若是后者，则所有隐含层节点的输出不变，只有一个输出层节点的输出发生改变，其它输出层节点的输出不变。因此，每一次搜索，我们没有必要对所有的节点都计算一次输出，而只需要计算发生改变的节点的输出。显然，计算量会大大降低。实验数据均取自经典的神经网络训练样本数据。我们采用三层感知