核方法和径向基函数网络

核方法和径向基函数网络(中文5500字,英文PDF)
5.1简介
对神经网络的监督学习可以有多种不同的方法。在第4章中所述的多层感知器的反向传播学习算法，可以被看作是递归技术的应用，这种技术在统计学中统称为随机逼近。
在本章中，我们采取了完全不同的方法。具体来说，我们解决了通过包含如下两阶段的混合方式来解决非线性可分模式的分类问题。
第一阶段将一组给定的非线性可分模式的集合转换成一组新的集合，在一定条件下，转化的模式成为线性可分的可能性很高。这一转换的数学证明最早可以追溯到Cover（1965）的早期论文。
第二阶段通过使用在第2章中讨论最小二乘估计的解决方案，来解决规定的分类的问题。
我们首先通过内插问题的讨论来描述关于这一混合方式对模式分类问题的一种执行方式：使用径向基函数（RBF）网络，该网络结构由三层组成。
输入层是由一些源节​​点（感知单元）组成，他们将网络与外界环境连接起来。
第二层由隐藏单元组成，他的作用是实现从输入空间到隐藏空间中的非线性变换。对于大多数情况，该网络的隐含层具有较高的维数，这一层是使用混合学习过程的第一阶段在非监督方式下训练的。
输出层是线性的，旨在提供网络施加到输入层的激活模式的响应;该层使用混合过程的第二阶段在监督方式下训练。
从输入空间到隐藏空间的非线性变换和隐藏空间的高维数满足Cover的定理仅有的两个条件。
RBF网络的多数理论建立在高斯函数之上，这一类中的重要成员是径向基函数。高斯函数也可被看作是一个核,因此基于高斯函数的两阶段过程的设计可看成是核方法。
说到核，在本章的后半部分，我们还讨论了统计学中的核回归和径向基函数网络之间的关系。