交叉熵Loss

Mon, 07 Sep 2026 22:45:35 +0800

网课学习：https://haoailab.com/cse234-w25/

Week2 autodiff 章节问题推导

L=-\sum t_{i}\log(y_{i}),y_{i}=\text{softmax}\left(x\right)_{i}=\frac{e^{x_{i}}}{\sum e^{x_{d}}}

Softmax Cross-Entropy Loss — 前向与梯度计算

1. 问题设定

给定一个分类任务，共有 $C$ 个类别。对于一个样本，模型输出 logits 向量 $\mathbf{x} \in \mathbb{R}^{C}$ ，真实标签为 $t \in \{0, 1, \dots, C-1\}$ （也可用 one-hot 向量 $\mathbf{t} \in \{0,1\}^{C}$ 表示）。

2. 前向传播 (Forward Pass)

2.1 Softmax 激活

y_i = \text{softmax}(\mathbf{x})_i = \frac{e^{x_i}}{\sum_{d=1}^{C} e^{x_d}}, \quad i = 1, 2, \dots, C

其中 $y_i$ 表示模型对第 $i$ 类的预测概率，满足 $\sum_i y_i = 1$ 且 $y_i > 0$ 。

2.2 交叉熵损失 (Cross-Entropy Loss)

对于单个样本（真实标签为类别 $t$ ）：

L = - \sum_{i=1}^{C} t_i \log(y_i) = -\log(y_t)