研究生自适应作业

1.证明。

证明：我们在复数加权时用的加权系数一般写为(的共轭复数)，所以误差。

协方差矩阵定义为：

定义互相关向量：

所以均方误差为：

我们假设。其中，，

均方误差性能表面的梯度可以表示为。

为了得到最小均方误差对应的最优权值，我们令梯度为零，即。

所以。2. 已知

求：(a). 的表达式。

（b）.计算。

c).求特征值与特征向量。

d).绘制等高线图。

e).对所的的结果分析。

解答：（a）由题设条件得：，，

将这三个参数带入的表达式：

b）由得到。

因此 =带入均方误差表达式得到

c）. 我们令：

得到。进而特征向量为。

d）由于求得，所以我们画出从18到25间隔为1的等高线图，并标出相应的平移坐标轴和旋转坐标轴，绘制的等高线图如图（1）所示：

图（1）等高线图。

e).由等高线可以看出，在v1’方向上等高线在v0’方向上密很多，说明沿v1’方向上均方误差下降得较快一些，由于性能函数对主轴的二阶导数是输入相关矩阵的特征值，可以知道v0’和v1’分别对应的较小和较大的特征值。

1.对于前次作业的性能表面函数，选适当的，用两种方法求，在等高线图上画出搜索过程。

1).牛顿迭代法我们取，在等高线上画出其搜索过程如图（2）所示：图中表示初始值点的负梯度方向。

图（2）用牛顿法搜索其最优权值。

2)最速下降法为了便于比较两种方法的搜索效果，我们仍然取，由于应该满足的条件是，我们分别取和和在等高线上画出其搜索过程如图（3）和图（4）所示：图中表示初始值点的负梯度方向。

图（3）时的最小下降法搜索过程81

图（4）时的最小下降法搜索过程364

可以看出，牛顿法通过一次迭代就可以找到最优权值，最速下降法需要迭代的次数较多，而且每次迭代都沿着当前值位置对应的梯度的负方向变化，在迭代过程中选用的步长越小，需要的迭代次数越多（时迭代次数为80次，时迭代次数为363次）。

a）将牛顿法用于该性能表面，推导其权值调整公式。

b) 选== 0 ，-0.008 ，-1.2 ，12，计算前七个权值，解释结果，阐明为什么牛顿法不能用于非二次性能表面。

解：a）牛顿法的迭代公式为，将的表达式带入求一阶导数和二阶导数，并带入该迭代公式有：

有。b）每个初值对应的迭代结果如表（1）所示。

表（1）不同初值条件下的迭代权系数。

非二次性能表面具有不止一个的局部最小值点，而牛顿法搜索的结果是给出其中的一个局部最小值点对应的权系数，不一定是全局最小值点。例如题设条件中找到的0.4484和-1.

1151就是两个不同的局部最小值点对应的权系数。所以牛顿法不能用于非二次性能表面。但是对于低阶非二次型表面，我们可以考虑通过牛顿迭代法获得其所有局部最小值点，然后比较局部最小值点的大小来确定全局最小值点，进而得到其最优权值，只是需要花费很长时间。