神经网络解常微分方程
对于常微分方程
$$
\left{
\begin{array}{c}
\frac{dy}{dx}=x^3-\frac{y}{x}\\
y(1)=\frac{2}{5}
\end{array}
\right.
$$
其精确解为 $y(x)=\frac{x^4}{5}+\frac{1}{5x}$ .
下面用3层 1xNx1 神经网络解该问题。
设 $f(x)=y_t=\frac{dy}{dx} = y_0+xN(x,p)$ , 其中 $N(x,p)$ 是三层神经网络的输出, $p$ 是网络中的参数,维度为 $3n$ 。在区间 $[1,2]$ 中取 m 个点做训练数据。求解最优化问题
$$
min\sum_{i=1}^m{ \frac{dy_t(x,p)}{dx}|_{x=x_i}-f(x_i,y_t(x_i,p)) }^2
$$
将得到的 $p$ 带入到 $y_t(x,p)$ 中就能得出训练出来的该微分方程的近似解。
通过计算可以得出上式平方内的项为:
$$
J(x_i) = \sum_{j=1}^n\frac{2v_j}{1+e^{\theta_j-\omega_jx_i}}+\sum_{j=1}^n\frac{xv_j\omega_je^{\theta_j-\omega_jx_i}}{(1+e^{\theta_j-\omega_jx_i})^2}-x_i^3+\frac{0.4}{x_i}
$$
给出表示上述函数及其导数的代码:
|
|
|
|
利用拟牛方法计算参数 $p$ 的值并画图和真实解析解进行比较:
