TYS的博客

算法小白努力学习中

0%

卷积与梯度

Pytorch 卷积与梯度反向传播

pytorch计算图

https://zhuanlan.zhihu.com/p/33378444

https://towardsdatascience.com/pytorch-autograd-understanding-the-heart-of-pytorchs-magic-2686cd94ec95

https://zhuanlan.zhihu.com/p/69175484 这篇写的比较全,光说不练,假把式;光练不说,傻把式;连说带练~~真!把!式!’”

https://blog.csdn.net/cedi9117/article/details/106955001/ pytorch tensor计算

将梯度想象为小格子,因此同一层节点梯度是相加的,不同层的节点梯度是相乘的

img

理解一下
$$
z = f + g \
dz = k(df + dg) \
z = f * g * h \
z + dz = (f + df)(g + dg)(h + dh) 忽略高阶项
$$
https://zhuanlan.zhihu.com/p/27783097

Pytorch是利用Variable与Function来构建计算图的。Variable就像是计算图中的节点,保存计算结果(包括前向传播的激活值,反向传播的梯度),而Function就像计算图中的边,实现Variable的计算,并输出新的Variable。

torch.autograd.Funtion

矩阵求导

https://zhuanlan.zhihu.com/p/262751195

image-20211004160423050

利用pytorch实现卷积运算 https://zhuanlan.zhihu.com/p/349683405,爱因斯坦求和标记