反向传播(Backpropagation),简称“backprop”,是训练人工神经网络的核心算法之一。它通过链式法则高效地计算损失函数相对于网络中每个参数的梯度,从而实现参数的优化更新。
在监督学习中,神经网络通过前向传播计算输出,再与真实标签比较得到误差。反向传播则从输出层开始,逐层将误差“反向”传递回网络各层,计算每一层权重和偏置对总误差的贡献(即梯度)。
直接对每个参数进行数值微分计算量极大,尤其在深层网络中不可行。反向传播利用链式法则,以一次前向+一次反向即可高效获得所有参数的梯度,大幅提升了训练效率。
反向传播广泛应用于图像识别、自然语言处理、语音合成等深度学习任务中,是现代AI系统训练的基础。
掌握反向传播不仅是理解神经网络如何“学习”的关键,也是深入研究更高级模型(如Transformer、GAN等)的基石。建议结合代码实践(如用NumPy手动实现)加深理解。