什么是反向传播？
反向传播（Backpropagation）是训练人工神经网络的核心算法之一。它通过计算损失函数对每个权重的梯度，利用链式法则从输出层向输入层逐层传递误差，从而高效地更新网络参数。
为什么需要反向传播？
在神经网络中，直接计算每个权重对最终损失的影响非常复杂。反向传播通过巧妙地应用微积分中的链式法则，将这一过程分解为局部梯度的乘积，大幅提升了训练效率。
反向传播的基本步骤
- 前向传播：输入数据经过网络，计算每一层的输出，直到得到预测值。
- 计算损失：使用损失函数（如均方误差、交叉熵）衡量预测值与真实值的差距。
- 反向传播误差：从输出层开始，逐层计算损失对各层权重和偏置的偏导数。
- 参数更新：使用梯度下降法（或其他优化器）根据梯度调整权重和偏置。
数学简述
假设某一层的激活为 \( a = \sigma(z) \)，其中 \( z = Wx + b \)，则损失 \( L \) 对权重 \( W \) 的梯度为：
∂L/∂W = (∂L/∂a) ⋅ (σ'(z)) ⋅ xᵀ
这一过程从输出层递归回传至输入层，实现全网络的梯度计算。
实际应用建议
- 使用自动微分框架（如 PyTorch、TensorFlow）可避免手动实现反向传播。
- 注意梯度消失或爆炸问题，可采用 ReLU 激活函数、Batch Normalization 或残差连接缓解。
- 合理设置学习率，配合 Adam、SGD with momentum 等优化器提升收敛速度。