SUNKAIS OS · READ ONLY

Jarvis

登录后,可以询问自己的任务、项目和记录。

登录后使用
Sun KaisPersonal Research Institute · 私人研究机构

Mathematics · Computational Science · Engineering · Personal Knowledge Systems

更多
SUNKAIS · PERSONAL OS

搜索全站功能

选择 前往

SIGNAL RECORD / Rationality

深度学习数学基础准备

从链式法则、线性代数和优化视角给深度学习学习路径做一次预热。

深度学习的第一层门槛并不只是写出 PyTorch 代码,而是重新理解几个基础对象:函数复合、矩阵乘法、梯度、损失函数和优化过程。

以两层网络为例,可以先把模型压缩成下面的形式:

f(x)=W2σ(W1x+b1)+b2.f(x)=W_2\sigma(W_1x+b_1)+b_2.

反向传播的核心仍然是链式法则。需要训练的不是记住某个公式,而是能把每一层的局部变化和最终损失联系起来。

后续可以按三个方向推进:

  1. 复习多元函数微分与矩阵求导。
  2. 用最小例子手写一次前向传播和反向传播。
  3. 再切换到 PyTorch,观察自动微分如何记录计算图。

这个方向暂时归入理性能力,因为它更像数学基础补全;等进入代码实验后,也会同步进入技术能力模块。