系列分集
神经网络的激活、梯度与批归一化
Building makemore Part 3: Activations & Gradients, BatchNorm
跟踪各层输出与反向梯度的分布,再看批归一化如何用一批数据的统计量改变激活的尺度。
Andrej Karpathy · 系列收录
讨论出处
- Hacker News · 推荐系列的原讨论 ↗Neural Networks: Zero to Hero · 2026-03-25
系列分集
Building makemore Part 3: Activations & Gradients, BatchNorm
跟踪各层输出与反向梯度的分布,再看批归一化如何用一批数据的统计量改变激活的尺度。
Andrej Karpathy · 系列收录