柚子快報(bào)邀請(qǐng)碼778899分享：深度學(xué)習(xí)論文精讀【持續(xù)更新中】

http://yzkb.51969.com/

深度學(xué)習(xí)論文精讀

所有論文

包括已經(jīng)精讀完成和之后將要精讀的論文，10年內(nèi)深度學(xué)習(xí)里有影響力文章（必讀文章），或者近期比較有意思的文章。

感謝沐神！

總論文數(shù) 67，閱讀完成數(shù) 32

計(jì)算機(jī)視覺 - CNN

已閱讀年份名字簡(jiǎn)介博文鏈接?2012AlexNet深度學(xué)習(xí)熱潮的奠基作2014VGG使用 3x3 卷積構(gòu)造更深的網(wǎng)絡(luò)2014GoogleNet使用并行架構(gòu)構(gòu)造更深的網(wǎng)絡(luò)?2015ResNet構(gòu)建深層網(wǎng)絡(luò)都要有的殘差連接。2017MobileNet適合終端設(shè)備的小CNN2019EfficientNet通過架構(gòu)搜索得到的CNN2021Non-deep networks讓不深的網(wǎng)絡(luò)也能在ImageNet刷到SOTA

計(jì)算機(jī)視覺 - Transformer

已閱讀年份名字簡(jiǎn)介博文鏈接?2020ViTTransformer殺入CV界?2021Swin Transformer多層次的Vision Transformer2021MLP-Mixer使用MLP替換self-attention?2021MAEBERT的CV版

生成模型

已閱讀年份名字簡(jiǎn)介博文鏈接?2014GAN生成模型的開創(chuàng)工作2015DCGAN使用CNN的GAN2016pix2pix2016SRGAN圖片超分辨率2017WGAN訓(xùn)練更加容易2017CycleGAN2018StyleGAN2019StyleGAN22020DDPMDiffusion Models2021Improved DDPM改進(jìn)的 DDPM2021Guided Diffusion Models號(hào)稱超越 GAN2021StyleGAN3?2022DALL.E 2CLIP + Diffusion models，文本生成圖像新高度

計(jì)算機(jī)視覺 - Object Detection

已閱讀年份名字簡(jiǎn)介博文鏈接2014R-CNNTwo-stage2015Fast R-CNN2015Faster R-CNN2016SSDSingle stage2016YOLO2017Mask R-CNN2017YOLOv22018YOLOv32019CenterNetAnchor free?2020DETRTransformer

計(jì)算機(jī)視覺 - 對(duì)比學(xué)習(xí)

已閱讀年份名字簡(jiǎn)介博文鏈接?2018InstDisc提出實(shí)例判別和memory bank做對(duì)比學(xué)習(xí)?2018CPC對(duì)比預(yù)測(cè)編碼，圖像語音文本強(qiáng)化學(xué)習(xí)全都能做?2019InvaSpread一個(gè)編碼器的端到端對(duì)比學(xué)習(xí)?2019CMC多視角下的對(duì)比學(xué)習(xí)?2019MoCov1無監(jiān)督訓(xùn)練效果也很好?2020SimCLRv1簡(jiǎn)單的對(duì)比學(xué)習(xí) (數(shù)據(jù)增強(qiáng) + MLP head + 大batch訓(xùn)練久)?2020MoCov2MoCov1 + improvements from SimCLRv1?2020SimCLRv2大的自監(jiān)督預(yù)訓(xùn)練模型很適合做半監(jiān)督學(xué)習(xí)?2020BYOL不需要負(fù)樣本的對(duì)比學(xué)習(xí)?2020SWaV聚類對(duì)比學(xué)習(xí)?2020SimSiam化繁為簡(jiǎn)的孿生表征學(xué)習(xí)?2021MoCov3如何更穩(wěn)定的自監(jiān)督訓(xùn)練ViT?2021DINOtransformer加自監(jiān)督在視覺也很香

計(jì)算機(jī)視覺 - 視頻理解

已閱讀年份名字簡(jiǎn)介博文鏈接?2014DeepVideo提出sports1M數(shù)據(jù)集，用深度學(xué)習(xí)做視頻理解?2014Two-stream引入光流做時(shí)序建模，神經(jīng)網(wǎng)絡(luò)首次超越手工特征?2014C3D比較深的3D-CNN做視頻理解?2015Beyond-short-snippets嘗試使用LSTM?2016Convolutional fusion做early fusion來加強(qiáng)時(shí)空間建模?2016TSN超級(jí)有效的視頻分段建模，bag of tricks in video?2017I3D提出Kinetics數(shù)據(jù)集，膨脹2D網(wǎng)絡(luò)到3D，開啟3D-CNN時(shí)代?2017R2+1D拆分3D卷積核，使3D網(wǎng)絡(luò)容易優(yōu)化?2017Non-local引入自注意力做視覺問題?2018SlowFast快慢兩支提升效率?2021TimeSformer視頻中第一個(gè)引入transformer，開啟video transformer時(shí)代

多模態(tài)學(xué)習(xí)

已閱讀年份名字簡(jiǎn)介博文鏈接?2021CLIP圖片和文本之間的對(duì)比學(xué)習(xí)?2021ViLT第一個(gè)擺脫了目標(biāo)檢測(cè)的視覺文本模型?2021ViLDCLIP蒸餾幫助開集目標(biāo)檢測(cè)?2021GLIP聯(lián)合目標(biāo)檢測(cè)和文本定位?2021CLIP4Clip拿CLIP直接做視頻文本retrieval?2021ActionCLIP用多模態(tài)對(duì)比學(xué)習(xí)有監(jiān)督的做視頻動(dòng)作分類?2021PointCLIP3D變2D，巧妙利用CLIP做點(diǎn)云?2022LSeg有監(jiān)督的開集分割?2022GroupViT只用圖像文本對(duì)也能無監(jiān)督做分割?2022CLIPassoCLIP跨界生成簡(jiǎn)筆畫?2022DepthCLIP用文本跨界估計(jì)深度

自然語言處理 - Transformer

已閱讀年份名字簡(jiǎn)介博文鏈接?2017Transformer繼MLP、CNN、RNN后的第四大類架構(gòu)?2018GPT使用 Transformer 解碼器來做預(yù)訓(xùn)練?2018BERTTransformer一統(tǒng)NLP的開始?2019GPT-2更大的 GPT 模型，朝著zero-shot learning邁了一大步?2020GPT-3100倍更大的 GPT-2，few-shot learning效果顯著

系統(tǒng)

已閱讀年份名字簡(jiǎn)介博文鏈接?2014參數(shù)服務(wù)器支持千億參數(shù)的傳統(tǒng)機(jī)器學(xué)習(xí)模型?2018GPipe流水線（Pipeline）并行?2019Megatron-LM張量（Tensor）并行?2019Zero參數(shù)分片?2022Pathways將Jax拓展到上千TPU核上

圖神經(jīng)網(wǎng)絡(luò)

已閱讀年份名字簡(jiǎn)介博文鏈接?2021圖神經(jīng)網(wǎng)絡(luò)介紹GNN的可視化介紹

優(yōu)化算法

已閱讀年份名字簡(jiǎn)介博文鏈接2014Adam深度學(xué)習(xí)里最常用的優(yōu)化算法之一2016為什么超大的模型泛化性不錯(cuò)2017為什么Momentum有效Distill的可視化介紹

新領(lǐng)域應(yīng)用

已閱讀年份名字簡(jiǎn)介博文鏈接2016AlphaGo強(qiáng)化學(xué)習(xí)出圈2020AlphaFold贏得比賽的的蛋白質(zhì)3D結(jié)構(gòu)預(yù)測(cè)?2021AlphaFold 2原子級(jí)別精度的蛋白質(zhì)3D結(jié)構(gòu)預(yù)測(cè)?2021Codex使用注釋生成代碼?2021指導(dǎo)數(shù)學(xué)直覺分析不同數(shù)學(xué)物體之前的聯(lián)系來幫助發(fā)現(xiàn)新定理?2022AlphaCode媲美一般程序員的編程解題水平

柚子快報(bào)邀請(qǐng)碼778899分享：深度學(xué)習(xí)論文精讀【持續(xù)更新中】

http://yzkb.51969.com/

文章來源