深度学习论文精读

录制完成的论文

日期	标题	封面	时长	视频（4K）
11/18/21	BERT 逐段精读		45:49	B站, 知乎, YouTube
11/9/21	GAN 逐段精读		46:16	B站, 知乎, YouTube
11/3/21	零基础多图详解 图神经网络（GNN/GCN）		66:19	B站, 知乎, YouTube
10/27/21	Transformer 逐段精读 （视频中提到的文献 1 )		87:05	B站, 知乎, YouTube
10/22/21	ResNet 论文逐段精读		53:46	B站, 知乎, YouTube
10/21/21	撑起计算机视觉半边天的 ResNet		11:50	B站, 知乎, YouTube
10/15/21	AlexNet 论文逐段精读		55:21	B站, 知乎, YouTube
10/14/21	9年后重读深度学习奠基作之一：AlexNet		19:59	B站, 知乎, YouTube
10/06/21	如何读论文		06:39	B站, 知乎, YouTube

所有论文

包括已经录制完成和之后将要介绍的论文。选取的原则是10年内深度学习里有影响力文章（必读文章），或者近期比较有意思的文章。当然这十年里重要的工作太多了，不可能一一过一遍。在选取的时候我会偏向一些之前 直播课 中没讲到过的。 欢迎大家在 讨论区 里提供建（点）议（歌）。

（这里引用采用的是 semanticscholar，是因为它提供 API 可以自动获取，不用手动更新。）

计算机视觉

已录制	年份	名字	简介	引用
✅	2012	AlexNet	深度学习热潮的奠基作	>=10K (link)
✅	2014	GAN	生成模型的开创工作	9998 (link)
	2014	VGG	使用 3x3 卷积构造更深的网络	>=10K (link)
	2014	GoogleNet	使用并行架构构造更深的网络	9997 (link)
✅	2015	ResNet	构建深层网络都要有的残差连接。	>=10K (link)
	2017	MobileNet	适合终端设备的小CNN	8687 (link)
	2019	EfficientNet	通过架构搜索得到的CNN	3423 (link)
	2019	MoCo	无监督训练效果也很好	2008 (link)
	2020	ViT	Transformer杀入CV界	1525 (link)
	2021	CLIP	图片和文本之间的对比学习	399 (link)
	2021	Non-deep networks	让不深的网络也能在ImageNet刷到SOTA	0 (link)
	2021	Swin Transformer	多层次的Vision Transformer	383 (link)

自然语言处理

已录制	年份	名字	简介	引用
✅	2017	Transformer	继MLP、CNN、RNN后的第四大类架构	>=10K (link)
	2018	GPT	使用 Transformer 来做预训练	2749 (link)
✅	2018	BERT	Transformer一统NLP的开始	>=10K (link)
	2019	GPT-2		4533 (link)
	2020	GPT-3	朝着zero-shot learning迈了一大步	2545 (link)

通用技术

已录制	年份	名字	简介	引用
	2014	Adam	深度学习里最常用的优化算法之一	>=10K (link)
	2016	为什么超大的模型泛化性不错		3109 (link)

其他领域

已录制	年份	名字	简介	引用
	2014	Two-stream networks	首次超越手工特征的视频分类架构	5093 (link)
	2016	AlphaGo	强化学习出圈	9998 (link)
✅	2021	图神经网络介绍	GNN的可视化介绍	4 (link)

TODO：

1. Out-of-distribution
2. AlphaFold
3. Anchor-free object detection
4. Knowledge graph

---

1. 1 斯坦福100+作者的200+页综述，2 对LayerNorm的新研究，3 对Attention在Transformer里面作用的研究 ↩︎