Cross-entropy and Softmax relation

Cross-entropy(交叉熵)

信息论要求以最小的成本来传递和表达信息. 比如要给文本编码, 就会给出现次数多的词更短的编码, 而不常见的词的码长会设置的长一些, 这样在传递这份信息时总体需要的码长就会较短. 为了实现这种编码, 需要了解想要描述事物的分布, 这样就和概率分布有了联系, 进而会和机器学习里的问题产生联系.

Entropy(熵)

首先介绍熵的概念. 类似于物理学里用来描述系统混乱程度, 这里的熵用来表示某服从分布 $p$ 的随机变量 $X$ 的不确定程度. 符号表示位 $H(p)$ 或者 $H(X)$. 具体计算公式为:
$$
H(p) = E(-plog(p))
$$

具体如何计算这里的熵:

  • 对于离散分布 $p$ : $H(p) = -\sum_{k = 1}^K p(X = k)log(p(X = k))$. 比如伯努利分布的 entropy 为 $H(p) = -(p(X = 0)log(p(X = 0)) + p(X = 1)log(p(X = 1))) \approx 0.69$. (此处 $log$ 取自然底数 $e$)
  • 对于连续分布 $p$ 取相应的积分即可: $H(p) = -\int p(X)log(p(X)) dx$.

从计算公式中可以看出当 $X$ 服从均匀分布时, $H(p)$ 的值会取到最大, 也就是分布最不确定; 当分布 $p$ 在某点处概率为脉冲时, 不确定性最小, $H(p)$ 也最小.

像一开始介绍的那样, 熵可以理解为在分布 $p$ 下表达 $X$ 所需的期望编码长度.

Cross-entropy(交叉熵)

有了熵的概念, 下面介绍交叉熵 cross-entropy . 假如对于 $X$ ,我们有了真实的概率分布 $p$, 就能计算表达 $X$ 需要的编码长度. 这种编码是按照 $X$ 的准确分布量身定制的, 因此是描述 $X$ 的最小编码长度. 而如果我们没有按照分布 $p$ 来表示 $X$, 而采用了另一个估计的概率分布 $q$ 来描述 $X$, 直观上来说, 我们会认为此时需要更多的编码来描述 $X$. 事实上也确实如此. 我们定义交叉熵 $H(p,q)$ 来表示使用错误的分布 $q$ 来表达 $X$ 时需要的平均编码长度:
$$
H(p,q) = E(-plog(q))
$$
在离散分布时为: $H(p,q) = - \sum_{k = 1}^K p(X = k)log(q(X = k))$.

做差引入一个重要的概念 KL divergence:
$$
\begin{aligned}
KL(p||q) &= H(p,q) - H(p)\\
&= \sum_{k = 1}^K p(X=k)log \frac{p(X = k)}{q(X = k)}\\
&\ge 0
\end{aligned}
$$
使用 Jensen 不等式 可以证明(后面给出) KL divergence 一定大于等于0, 也就是使用错误的编码表达 $X$ 时需要耗费更多的编码数. 当且仅当 $p = q$ 时等号成立.

除了表达多用的编码长度外, KL divergence 还有某种意义上的 ‘距离’ 含义, 它表示了两个分布 $p$ 和 $q$ 之间的差别. 相比于表示两个分布之间线性相关性的 相关 , KL 距离能够表达 $p$ 和 $q$之间的更多比较信息.

Softmax Classifier

机器学习中的分类器 softmax 使用了 cross-entropy. 该 loss 被广泛应用于神经网络中.

对于 $k$ 个类别的分类问题, 使用线性响应函数 $f(x)_r = w_r^Tx (r = 1,2\cdots k)$ 把样本 $x$ 映射成第 $r$ 个分类上的’’得分’’. 于是若某个样本 $x$属于类别 $j$ , 则得到该样本上的 loss function :
$$
L = -log\frac{e^{f_j}}{\sum_{i = 1}^k e^{f_i}}
$$
该损失函数包含 softmax function 的形式,但这个 loss 却经常被称为 cross-entropy loss . 如何理解这样的叫法呢?

首先, 对于样本 $x$ , 它只能属于某一个类别, 也就是它服从真实分布 $p = [0, 0, \cdots , 1(属于第j个类别的概率), \cdots ,0]$. 比值项 $\frac{e^{f_j}}{\sum_{i = 1}^k e^{f_i}}$ 可以看做(注意只是看做, 因为这里计算出的概率数值上并没有很确切的意义, 把它们进行排序得到的 order 相对意义更明确: 属于各个类别的可能性大小的排序)我们模型估计的样本 $x$(属于类别j) 属于 $j$ 的概率, 这个值在真实分布 $p$ 中应该是1, 但是我们的估计值一般是小于1的. 类似我们写出估计出的分布 $q = [\frac{e^{f_1}}{\sum_{i = 1}^k e^{f_i}}, \frac{e^{f_2}}{\sum_{i = 1}^k e^{f_i}}, \cdots ,\frac{e^{f_j}}{\sum_{i = 1}^k e^{f_i}}, \cdots ,\frac{e^{f_k}}{\sum_{i = 1}^k e^{f_i}}]$.

  • 单纯从概率的角度看, 最小化 loss 的过程就是在最大化$\frac{e^{f_j}}{\sum_{i = 1}^k e^{f_i}}$, 这符合我们的想象. 模型赋予正确分类上的概率越大, 我们自然认为这个模型的估计很合理.

  • 我们也可以从熵的角度来看这个 loss . 很明显, 真实分布 $p$ 和估计分布 $q$ 之间的交叉熵为
    $$
    \begin{aligned}
    H(p,q) &= - \sum_{k = 1}^K p(x = k)log(q(x = k))\\
    &=-p(x = j)log(q(x=k))\\
    &= -log \frac{e^{f_j}}{\sum_{i = 1}^k e^{f_i}}\\
    &= L
    \end{aligned}
    $$
    于是, 当我们最小化 $L$ 时, 我们也相当于在最小化 $p$, $q$ 之间的交叉熵. 而该交叉熵的下界应该是 $H(p)$. 这样我们也可以认为在最小化 $KL(p~||~q) = H(p,q) - H(p)$, 即 $p$ 和 $q$ 之间的 KL divergence. 把它优化得越小, $p$ 和 $q$ 就越接近, 就认为我们估计得越好.

    ​