SIGNAL RECORD / Rationality
深度学习数学基础准备
从链式法则、线性代数和优化视角给深度学习学习路径做一次预热。
深度学习的第一层门槛并不只是写出 PyTorch 代码,而是重新理解几个基础对象:函数复合、矩阵乘法、梯度、损失函数和优化过程。
以两层网络为例,可以先把模型压缩成下面的形式:
反向传播的核心仍然是链式法则。需要训练的不是记住某个公式,而是能把每一层的局部变化和最终损失联系起来。
后续可以按三个方向推进:
- 复习多元函数微分与矩阵求导。
- 用最小例子手写一次前向传播和反向传播。
- 再切换到 PyTorch,观察自动微分如何记录计算图。
这个方向暂时归入理性能力,因为它更像数学基础补全;等进入代码实验后,也会同步进入技术能力模块。
