深度学习之学习路线

🏁 前言

我的研究生期间（研究方向：异常检测）深度学习的读书/学习笔记，包含

• 图形分类（入门）
• 目标识别（纯属游戏向 ➡️ 自动瞄准）
• 异常检测（交通时序）

🚠 路线推荐

机器学习 ➡️ 数据操作（推荐观看我的仓库） ➡️ 深度学习基础（推荐阅读pytorch版本《动手深度学习》：https://zh.d2l.ai/） ➡️ 深度学习基础网络【分类】（推荐观看：https://space.bilibili.com/18161609/channel/series） ➡️ 分支（看研究方向）⏫

注：个人建议《动手深度学习》不用读到基础网络（alexnet...）

📑 推荐书籍和网址

• pytorch内功修炼（Pytorch中文百科）： https://www.pytorch.wiki/
• 论文理论支撑 （神经网络与深度学习）：https://nndl.github.io/
• 语法精益（流畅的Python）、数据处理（深入浅出pandas）
• 奇葩review大赏（娱乐）：https://shitmyreviewerssay.tumblr.com/

💨其他推荐

• Pytorch官网
• 飞桨PaddlePaddle官网
• scikit-learn中文社区
• Matplotlib: Python plotting — Matplotlib 3.4.2 documentation
• Jittor(计图): 即时编译深度学习框架 — Jittor
• Dataset Search：数据集搜索
• TensorFlow官方教程
• Keras：TF封装
• Hydra 九头蛇：简化深度学习配置
• ml-tooling/best-of-ml-python: 🏆 深度学习开源库排行榜
• NumPy 中文
• Kaggle: 深度学习竞赛
• Pillow (PIL Fork)
• 复杂网络软件 — NetworkX
• 深度学习在图像处理中的应用教程
• pandas中文教程
• External-Attention-pytorch: 🍀 现成轮子
• VIT汇总
• 深度学习500问
• 深度学习论文阅读路线图
• 深度学习论文注释实现
• 深度学习入门教程, 优秀文章
• 吴恩达深度学习课程笔记
• tensorflow2中文教程，持续更新(当前版本:tensorflow2.0)
• 初学者的TensorFlow教程和例子 (support TF v1 & v2)
• 简单且准备使用 TensorFlow 的教程
• PyTorch 对于研究人员的教程
• 吴恩达机器学习个人笔记
• Matplotlib 中文
• pytorch-image-models：PyTorch 图像模型、脚本、预训练权重
• Flops counter
• CVPR 2022 论文和开源项目合集
• PyTorch implementations of GAN：对抗神经网络合集
• the-gan-zoo: A list of all named GANs!：对抗神经网络合集

📚书

• 《计算机视觉实战演练：算法与应用》
• Sklearn 与 TensorFlow 机器学习实用指南第二版
• 利用 Python 进行数据分析 · 第 2 版
• 南瓜书PumpkinBook

🏣社区

• Hugging Face 自然语言处理
• Sieun Park – Medium
• Distill — Latest articles about machine learning
• Towards Data Science
• Neurohive - Neural Networks
• 974 questions with answers in COMPUTER SCIENCE | Science topic
• devRant

✏️ 论文推荐阅读

图像分类(Classification)

• LeNet http://yann.lecun.com/exdb/lenet/index.html
• AlexNet http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
• ZFNet(Visualizing and Understanding Convolutional Networks) https://arxiv.org/abs/1311.2901
• VGG https://arxiv.org/abs/1409.1556
• GoogLeNet, Inceptionv1(Going deeper with convolutions) https://arxiv.org/abs/1409.4842
• Batch Normalization https://arxiv.org/abs/1502.03167
• Inceptionv3(Rethinking the Inception Architecture for Computer Vision) https://arxiv.org/abs/1512.00567
• Inceptionv4, Inception-ResNet https://arxiv.org/abs/1602.07261
• Xception(Deep Learning with Depthwise Separable Convolutions) https://arxiv.org/abs/1610.02357
• ResNet https://arxiv.org/abs/1512.03385
• ResNeXt https://arxiv.org/abs/1611.05431
• DenseNet https://arxiv.org/abs/1608.06993
• NASNet-A(Learning Transferable Architectures for Scalable Image Recognition) https://arxiv.org/abs/1707.07012
• SENet(Squeeze-and-Excitation Networks) https://arxiv.org/abs/1709.01507
• MobileNet(v1) https://arxiv.org/abs/1704.04861
• MobileNet(v2) https://arxiv.org/abs/1801.04381
• MobileNet(v3) https://arxiv.org/abs/1905.02244
• ShuffleNet(v1) https://arxiv.org/abs/1707.01083
• ShuffleNet(v2) https://arxiv.org/abs/1807.11164
• Bag of Tricks for Image Classification with Convolutional Neural Networks https://arxiv.org/abs/1812.01187
• EfficientNet(v1) https://arxiv.org/abs/1905.11946
• EfficientNet(v2) https://arxiv.org/abs/2104.00298
• CSPNet https://arxiv.org/abs/1911.11929
• RegNet https://arxiv.org/abs/2003.13678
• NFNets(High-Performance Large-Scale Image Recognition Without Normalization) https://arxiv.org/abs/2102.06171
• Attention Is All You Need https://arxiv.org/abs/1706.03762
• Vision Transformer https://arxiv.org/abs/2010.11929
• DeiT(Training data-efficient image transformers ) https://arxiv.org/abs/2012.12877
• Swin Transformer https://arxiv.org/abs/2103.14030
• Swin Transformer V2: Scaling Up Capacity and Resolution https://arxiv.org/abs/2111.09883
• BEiT: BERT Pre-Training of Image Transformers https://arxiv.org/abs/2106.08254
• MAE(Masked Autoencoders Are Scalable Vision Learners) https://arxiv.org/abs/2111.06377
• CoAtNet https://arxiv.org/pdf/2106.04803v2.pdf

目标检测(Object Detection)

• R-CNN https://arxiv.org/abs/1311.2524
• Fast R-CNN https://arxiv.org/abs/1504.08083
• Faster R-CNN https://arxiv.org/abs/1506.01497
• Cascade R-CNN: Delving into High Quality Object Detection https://arxiv.org/abs/1712.00726
• Mask R-CNN https://arxiv.org/abs/1703.06870
• SSD https://arxiv.org/abs/1512.02325
• FPN(Feature Pyramid Networks for Object Detection) https://arxiv.org/abs/1612.03144
• RetinaNet(Focal Loss for Dense Object Detection) https://arxiv.org/abs/1708.02002
• Bag of Freebies for Training Object Detection Neural Networks https://arxiv.org/abs/1902.04103
• YOLOv1 https://arxiv.org/abs/1506.02640
• YOLOv2 https://arxiv.org/abs/1612.08242
• YOLOv3 https://arxiv.org/abs/1804.02767
• YOLOv4 https://arxiv.org/abs/2004.10934
• Scaled-YOLOv4 https://arxiv.org/abs/2011.08036
• PP-YOLO https://arxiv.org/abs/2007.12099
• PP-YOLOv2 https://arxiv.org/abs/2104.10419
• YOLOX http://arxiv.org/abs/2107.08430
• CornerNet https://arxiv.org/abs/1808.01244
• FCOS https://arxiv.org/abs/1904.01355
• CenterNet https://arxiv.org/abs/1904.07850
• Mask R-CNN https://arxiv.org/abs/1703.06870)

异常检测（Anomaly Detection）

• Anomaly Transformer http://arxiv.org/abs/2110.02642
• DL-Traff http://arxiv.org/abs/2108.09091
• Generative adversarial networks in time series: A survey and taxonomy http://arxiv.org/abs/2107.11098
• Learning Graph Neural Networks for Multivariate Time Series Anomaly Detection http://arxiv.org/abs/2111.08082
• Long-Range Transformers http://arxiv.org/abs/2109.12218
• Sig-Wasserstein GANs http://arxiv.org/abs/2111.01207

Others

• Microsoft COCO: Common Objects in Context https://arxiv.org/abs/1405.0312
• The PASCALVisual Object Classes Challenge: A Retrospective http://host.robots.ox.ac.uk/pascal/VOC/pubs/everingham15.pdf

:surfer: 感谢

特别致谢以下仓库对于我学习的帮助：
WZMIAOMIAO / 深度学习在图像处理中的应用教程
《神经网络与深度学习》 邱锡鹏著
d2l-ai /《动手学深度学习》