Zhang Yu's notes


  • Home

  • About

  • Archives

HSI_Classification

Posted on 2017-05-05 | | Visitors

高光谱图像分类实验

参考论文 *[Hyperspectral Image Classification via kernel sparse representstion][1],实现基于核方法(kernel)和稀疏表示(sparse representation)的高光谱图像分类算法。本文大致介绍论文中的方法和代码实现。文章是5、6年前提出的了,个人不是很了解最近这个方面最新的发展,似乎也有基于深度网络的分类算法出现。但从被引情况看这篇文章应该比较经典,而且从练手的角度看,实现核与稀疏表示这些经典方法相较于再套用一下神经网络也更有意义,因此实现其方法并简单介绍。

Read more »

神经网络解常微分方程

Posted on 2017-03-28 | | Visitors

神经网络解常微分方程

对于常微分方程

$$
\left{
\begin{array}{c}
\frac{dy}{dx}=x^3-\frac{y}{x}\\
y(1)=\frac{2}{5}
\end{array}
\right.
$$
其精确解为 $y(x)=\frac{x^4}{5}+\frac{1}{5x}$ .

下面用3层 1xNx1 神经网络解该问题。

Read more »

拟牛顿方法测试

Posted on 2017-03-28 | | Visitors

测试函数

Watson 函数

$$
min \sum_{i=1}^{m}r_i^2(x) \\
r_i(x) = \sum_{j=2}^n(j-1)x_jt_i^{j-2} - (\sum_{j=1}^nx_jt_i^{j-1})^2 - 1
$$

其中,$t_i=i/29,~ 1 \le i \le 29,~ r_{30}=x_1,~ r_{31} = x_2 - x_1^2 -1,~ 2 \le n \le 31,~ m = 31$ . 初始点选为 $x^{(0)} = (0, \dots ,)^T$.

Read more »

牛顿型方法和非精确搜索

Posted on 2017-03-27 | | Visitors

牛顿型方法(不包括拟牛顿法)

基本牛顿法的收敛性是局部的,计算效果受初值点选取影响很大。一方面初始点选取不当可能会导致 $hesse$矩阵不正定,从而无法下降;另一方面即使海赛矩阵正定了,因为它的收敛性只在局部成立,同样不能保证函数值下降。为解决这些问题,可以使用阻尼牛顿法和修正牛顿法。

Read more »

基本牛顿法测试

Posted on 2017-03-19 | | Visitors

基本牛顿方法

基本牛顿方法, 迭代方向为 $d_k = -G_k^{-1}g_k$, 步长取1. 迭代公式为 $x_k = x_k + d_k$. 因为不能保证 hesse 矩阵正定, 导致无法保证 $d_k$ 为下降方向. 其具有局部收敛性, 即初始点距离最优点必须足够小, 否则迭代序列 $x{k}$ 就会收敛到鞍点或极大点.

Read more »

Cross-entropy and Softmax relation

Posted on 2017-03-12 | | Visitors

Cross-entropy(交叉熵)

信息论要求以最小的成本来传递和表达信息. 比如要给文本编码, 就会给出现次数多的词更短的编码, 而不常见的词的码长会设置的长一些, 这样在传递这份信息时总体需要的码长就会较短. 为了实现这种编码, 需要了解想要描述事物的分布, 这样就和概率分布有了联系, 进而会和机器学习里的问题产生联系.

Read more »
Yu Zhang

Yu Zhang

6 posts
1 tags
RSS
GitHub
© 2017 Yu Zhang
Powered by Hexo
Theme - NexT.Mist