测试函数
Watson 函数
$$
min \sum_{i=1}^{m}r_i^2(x) \\
r_i(x) = \sum_{j=2}^n(j-1)x_jt_i^{j-2} - (\sum_{j=1}^nx_jt_i^{j-1})^2 - 1
$$
其中,$t_i=i/29,~ 1 \le i \le 29,~ r_{30}=x_1,~ r_{31} = x_2 - x_1^2 -1,~ 2 \le n \le 31,~ m = 31$ . 初始点选为 $x^{(0)} = (0, \dots ,)^T$.
根据文章[1], $watson$ 函数的最小值为:
$$
f=2.28767 \cdots 10^{-3} ~~if~n=6\\~if~n=9\\
f=1.39976 \cdots 10^{-6} ~
f=4.72238 \cdots 10^{-10} ~~~~if~n=12
$$
函数形式比较复杂,求一阶导的过程比较繁琐,写出来也麻烦,直接给出 $watson$ 函数和它的导数的matlab 代码:
|
|
|
|
Discrete boundary value function
$$
min \sum_{i=1}^n r_i^2(x) \\
r_i(x) = 2x_i - x_{i-1} - x_{i+1} + h^2(x_i + t_i + 1)^3/2
$$
其中 $h = 1/(n+1),~ t_i = ih,~ x_0 = x_{n+1} = 0,~ m=n$, 初始点选为 $x^{(0)} = (t_1(t_1-1), \cdots, t_n(t_n-1))^T$.
同样根据[1], 该函数的最小值为 $f = 0$.
函数和它的导数的代码:
|
|
|
|
SR1,DFP和BFGS方法效果比较
SR1, DFP 和 BFGS 都是拟牛顿方法,计算步骤相同,只是计算近似矩阵 $H$ 时有不同,故代码写在一处:
|
|
实验终止条件都是使用梯度条件: $|g(x_k)| < 1e-5$ ,最大迭代次数400 .
$watson$ 函数上测试的测试情况(feval 为函数及其导数函数的调用次数)
| $n = 6$ | feval | 迭代次数 | 最终结果 | 备注 |
| ———– | —– | —- | —— | ————————————- |
| SR1(Wolfe) | | | NaN | wolfe准则搜不到满意步长, iter 12步长太小,出现NaN,无法解 |
| SR1(Amijo) | 803 | 400 | 0.0060 | amijo准则无法搜索到满意步长,迭代到maxiter,没有满足终止条件 |
| DFP(Wolfe) | 671 | 335 | 0.0024 | wolfe准则在满足终止条件前无法找到步长 |
| DFP(Amijo) | 803 | 400 | 0.0026 | amijo准则迭代到maxiter,没有满足终止条件 |
| BFGS(Wolfe) | 601 | 300 | 0.0024 | wolfe准则300次后出现NaN,无法解 |
| BFGS(Amijo) | 803 | 400 | 0.0024 | amijo准则无法搜索到满意步长,迭代到maxiter,没有满足终止条件 || $n = 9$ | feval | 迭代次数 | 最终结果 | 备注 |
| ———– | —– | —- | ——— | ———————————— |
| SR1(Wolfe) | 260 | 129 | 1.3999e-6 | |
| SR1(Amijo) | 803 | 400 | 0.0111 | amijo准则无法搜索到满意步长,迭代到maxiter,没有满足终止条件 |
| DFP(Wolfe) | 803 | 400 | 4.1172e-5 | wolfe迭代到maxiter,没有满足终止条件 |
| DFP(Amijo) | 803 | 400 | 4.9962e-5 | amijo准则无法搜索到满意步长,迭代到maxiter,没有满足终止条件 |
| BFGS(Wolfe) | 98 | 48 | 6.6841e-6 | |
| BFGS(Amijo) | 803 | 400 | 0.0080 | amijo准则无法搜索到满意步长,迭代到maxiter,没有满足终止条件 || $n = 12$ | feval | 迭代次数 | 最终结果 | 备注 |
| ———– | —– | —- | ——— | ———————————— |
| SR1(Wolfe) | | | NaN | wolfe准则搜不到满意步长,iter 18步长太小,出现NaN,无法解 |
| SR1(Amijo) | 803 | 400 | 0.0116 | amijo准则无法搜索到满意步长,迭代到maxiter,没有满足终止条件 |
| DFP(Wolfe) | 803 | 400 | 5.6117e-6 | wolfe迭代到maxiter,没有满足终止条件 |
| DFP(Amijo) | 803 | 400 | 4.2964e-6 | amijo准则无法搜索到满意步长,迭代到maxiter,没有满足终止条件 |
| BFGS(Wolfe) | 84 | 41 | 1.5767e-7 | |
| BFGS(Amijo) | 803 | 400 | 0.0019 | amijo准则无法搜索到满意步长,迭代到maxiter,没有满足终止条件 |结果似乎都不太理想,似乎n=6时终止条件太苛刻,n=12时终止条件又太宽松了。
$Discrete ~boundary ~value$ 函数上的计算情况
| $n =m= 15$ | feval | 迭代次数 | 最终结果 | 备注 |
| ———– | —– | —- | ———- | ————————————– |
| SR1(Wolfe) | | | NaN | wolfe准则搜不到满意步长, iter 13时步长太小,出现NaN,无法解 |
| SR1(Amijo) | 38 | 18 | 3.0620e-10 | amijo准则无法搜索到满意步长,但迭代到 iter 18 就满足终止条件 |
| DFP(Wolfe) | 574 | 286 | 1.1134e-11 | |
| DFP(Amijo) | 566 | 282 | 7.5798e-12 | amijo准则无法搜索到满意步长,但迭代到 iter 282 就满足终止条件 |
| BFGS(Wolfe) | 54 | 26 | 5.0347e-12 | |
| BFGS(Amijo) | 54 | 26 | 4.5023e-11 | amijo准则无法搜索到满意步长,但迭代到 iter 26 就满足终止条件 |
[1] Testing Unconstrained Optimization Software