QUICK CAPTURE / TODO

快速记任务

先把想到的事放进任务箱,之后再到 Todo 中补充项目与细节。

保存后会同步到私人 Todo。

SIGNAL RECORD / Rationality

深度学习数学基础准备

从链式法则、线性代数和优化视角给深度学习学习路径做一次预热。

深度学习的第一层门槛并不只是写出 PyTorch 代码,而是重新理解几个基础对象:函数复合、矩阵乘法、梯度、损失函数和优化过程。

以两层网络为例,可以先把模型压缩成下面的形式:

f(x)=W2σ(W1x+b1)+b2.f(x)=W_2\sigma(W_1x+b_1)+b_2.

反向传播的核心仍然是链式法则。需要训练的不是记住某个公式,而是能把每一层的局部变化和最终损失联系起来。

后续可以按三个方向推进:

  1. 复习多元函数微分与矩阵求导。
  2. 用最小例子手写一次前向传播和反向传播。
  3. 再切换到 PyTorch,观察自动微分如何记录计算图。

这个方向暂时归入理性能力,因为它更像数学基础补全;等进入代码实验后,也会同步进入技术能力模块。