IBOK

SimCLR와 함께 가장 유명한 contrastive learning-based self-supervised learning 논문이다. CVPR 2020에서 발표된 논문이고, Kaiming He가 저자로 참여하였다. Paper, Code GitHub - facebookresearch/moco: PyTorch implementation of MoCo: https://arxiv.org/abs/1911.05722 PyTorch implementation of MoCo: https://arxiv.org/abs/1911.05722 - GitHub - facebookresearch/moco: PyTorch implementation of MoCo: https://arxiv.org/abs/1911.05722 gith..

NeurIPS 2021에서 발표된 논문으로, single image super-resolution (SISR)을 위해 uncertainty를 이용한 loss를 제안했다. 맨 아래에 PyTorch로 구현된 코드를 정리해 놓았다. 논문 링크: https://papers.nips.cc/paper/2021/file/88a199611ac2b85bd3f76e8ee7e55650-Paper.pdf Supplementary: https://papers.nips.cc/paper/2021/file/88a199611ac2b85bd3f76e8ee7e55650-Supplemental.pdf Homepage: https://see.xidian.edu.cn/faculty/wsdong/Projects/UDL-SR.htm https:/..

NeurIPS 2020에서 발표된 CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances 라는 논문이다. Out-of-distribution detection에 SimCLR을 토대로 한 contrastive learning을 적용하였다. 논문: https://arxiv.org/pdf/2007.08176.pdf 코드: https://github.com/alinlab/CSI Abstract Novelty detection이라고도 부르는 Out-of-distribution (OOD) detection은, 주어진 sample이 training distribution 내부의 것인지 (in-distribution), ..

NeurIPS 2018에서 발표된 논문이다. 매우 간단한 toy set에서 standard convolution layer의 맹점을 보였으며, coordinate 정보를 extra channel에 포함시키는 매우 간단한 방식으로 convolution layer의 성능을 높일 수 있는 CoordConv를 제안하였다. Paper: https://proceedings.neurips.cc/paper/2018/file/60106888f8977b71e1f15db7bc9a88d1-Paper.pdf Code: https://github.com/uber-research/coordconv Abstract 본 논문에서는, convolution 구조가 잘 동작하지 않는 example인 coordinate transform p..

CVPR 2019에 발표된 Dual Attention Network for Scene Segmentation이다. Scene segmentation에 attention을 적용하여 성능을 향상시켰다. 논문 링크: https://openaccess.thecvf.com/content_CVPR_2019/papers/Fu_Dual_Attention_Network_for_Scene_Segmentation_CVPR_2019_paper.pdf Code: https://github.com/junfu1115/DANet Abstract - self-attention을 이용해 scene segmentation task에서 rich contextual dependency를 포착는 것을 목표로 한다. - 기존의 attention..

논문: https://arxiv.org/abs/1910.09217 코드: https://github.com/facebookresearch/classifier-balancing [ENG] https://bo-10000.tistory.com/110 [Review] Decoupling Representation and Classifier for Long-Tailed Recognition (ICLR 2020) Paper: https://arxiv.org/abs/1910.09217 Code: https://github.com/facebookresearch/classifier-balancing [KOR] https://bo-10000.tistory.com/109 [딥러닝 논문리뷰] Decoupling Represe..

2021 ICCV에 Accept된 논문인 "Rethinking the Truly Unsupervised Image-to-Image Translation"을 정리한 글입니다. Naver CLOVA AI에서 작성된 논문입니다. 이전까지의 Unsupervised model (cycleGAN 등)은 사실 Semi-supervised 모델이라고 해야 한다고 얘기하며, Data collection(labeling)이 필요하지 않은 Truly unsupervised model인 TUNIT을 제안하고 있습니다. 논문 링크: https://arxiv.org/pdf/2006.06500 Official code: https://github.com/clovaai/tunit 1. Levels of Supervision in G..

2016년 IEEE TMI에 개제된 논문인 "Loss Functions for Image Restoration with Neural Networks"를 정리한 글이다. Super-resolution, artifact removal, denoising 등 Image restoration task에서 쓰이는 Loss function에 대해 분석했고, Image restoration task에서 좋은 성능을 낼 수 있는 새로운, 미분가능한 loss function을 제안했다. 꽤 옛날 논문이지만, 읽기 쉽고 유명한 논문이라 정리해 보려고 한다. 1. Background Image restoration Image restoration이란, denoising, deblurring, demosaicking, sup..

ICLR2020에 발표된 논문인 Deep Double Descent: Where Bigger Models and More Data Hurt 를 바탕으로 정리한 글입니다. 다양한 Deep Learning task에서 발견되는 Double-descent라는 현상을 Model complexity 관점에서 해석하고, 어떤 경우에서는 Model complexity나 Train epoch를 증가시키는 것이 성능을 하락시킬 수도 있다고 주장합니다. Classical Statistics vs. Modern Neural Networks 1) Classical Statistics: Bias-variance trade-off에 따르면, Model complexity가 일정 수준 이상 커지면 Overfitting이 발생해 오..

CVPR 2019에 발표된 논문인 Class-Balanced Loss Based on Effective Number of Samples 를 정리한 글입니다. 데이터셋의 Class Imbalance를 해결하기 위해 새로운 Loss Design를 제안하는 논문입니다. Long Tailed Dataset 위 그림은 각 Class에 속하는 Sample의 갯수를 나타낸 그래프인데요, 일부 몇 개의 Class에만 Sample들이 몰려 있고, 대부분의 Class에는 매우 적은 수의 Sample이 있는 데이터셋을 Long Tailed Dataset이라고 합니다. 이러한 데이터셋을 가지고 학습한 모델은 일반적으로 성능이 잘 나오지 않는데, Large-scale, real-world 데이터셋들은 보통 Long Tailed..