IBOK

CutMix augmentation을 포인트클라우드 데이터에 적용한 논문이다. 두 포인트클라우드 데이터 간의 일대일 대응관계를 찾고, 이를 바탕으로 두 데이터를 섞는 두 가지 방법을 제안했다. Paper: https://arxiv.org/pdf/2101.01461.pdf Code: https://github.com/cuge1995/PointCutMix Introduction 이미지 데이터에 대해 mixed sample data augmentation (MSDA)가 활발하게 사용되어 왔다. 대표적인 예시는 MixUp (Zhang et al., 2018)과 CutMix (Yun et al., 2019) 가 있다. 본 논문에서는 포인트클라우드 데이터에 대해 CutMix를 수행하는 PointCutMix를 제안한..

ICLR 2022에서 발표된 Pointcloud analysis를 위한 모델이다. 기존 Pointcloud analysis 모델들은 복잡한 local geometric extractor들을 이용해 왔는데, 이들과 달리 매우 간단한 구조로 SOTA를 달성할 수 있음을 보였다. Paper, Code 1. Introduction 기존 pointcloud 모델들은 3D geometric을 포착하기 위해 convolution, graph, attention 등 매우 복잡한 local geometric extractor들을 이용했는데, 이들은 computational overhead가 너무 크다는 단점이 있다. 저자들은 pointcloud analysis의 핵심은 detailed local geometrical i..

ProGAN부터 StyleGAN2까지, style transfer에서 가장 유명한 모델인 StyleGAN의 변천사와 각 모델의 특징을 간단히 정리해 보고자 한다. 1. ProGAN/PGGAN (ICLR 2018) Paper: Progressive Growing of GANs for Improved Quality, Stability, and Variation (link) GAN을 이용해 고해상도 이미지를 생성하는 것은 쉽지 않다. 따라서 latent vector에서 한번에 고해상도의 이미지를 생성하기보다는, 낮은 해상도의 이미지(4x4)를 생성하는 것부터 학습해서 점진적으로(progressive) 레이어를 추가하며 고해상도 이미지(1024x1024)를 만드는 방법을 학습한다. 레이어를 추가할 때는 fade..

CVPR 2021에서 발표된 self-supervised learning 논문. 기존의 다른 self-supervised learning 방법인 SimCLR, SwAV, BYOL과의 비교를 통해 제안된 방법을 설명하고 있다. 개인적으로 문장이나 전체적인 구조가 매우 이해하기 쉽게 잘 쓰여져 있다고 느꼈다. 논문 링크 Introduction Self-supervsied learning에서는 보통 Siamese network 구조를 많이 이용한다. 이는 weight를 서로 공유하는 neural network를 의미하는데, 이들은 각 entity를 비교하는 데에 유용하게 사용될 수 있다. 그러나 Siamese network는 output이 하나의 constant로 수렴하는 collapsing이 발생할 수 있다..

PointCloud 데이터를 이용한 대표적인 모델인 PointNet의 구조와 PyTorch로 구현한 코드이다. PointNet은 Feature extraction 후 classification / segmentation을 수행할 수 있지만, 본 글에서는 classification을 위한 네트워크만 소개한다. 코드는 가장 star 수가 많은 PyTorch implementation인 아래 Github repo를 참고하여 일부 수정했다. https://github.com/fxia22/pointnet.pytorch/tree/f0c2430b0b1529e3f76fb5d6cd6ca14be763d975 64로 늘려준다. 64차원의 shared mlp에 마찬가지로 T-Net과 matrix multiplication을 ..

논문: https://arxiv.org/pdf/1703.04977.pdf Epistemic uncertainty와 aleatoric uncertainty를 동시에 측정할 수 있게 해주는 방법을 소개한 논문이다. 논문을 간단히 정리하고 PyTorch 코드를 함께 소개하고자 한다. Uncertainty의 종류 1. Epistemic uncertainty (=Model uncertainty) 모델구조나 학습과정에서 발생하는 uncertainty이다. 모델이 충분히 학습되지 않았을 수도 있고, 전체 데이터 분포를 다 학습하지 못했을 수도 있고, 모델의 구조가 지나치게 단순하거나 복잡할 수도 있다. Epistemic uncertainty는 데이터셋 보강, 모델 구조 수정, 학습 방법 변경 등의 방법으로 줄일 수 ..

https://papertalk.org/index Papertalk - the platform for scientific paper presentations You have to login to use this feature. papertalk.org 딥러닝 논문 저자들의 paper talk을 모아 둔 사이트이다. 최신 논문, Journal/Conference 별, 인기순, 키워드 별로 논문을 확인할 수 있고, 디자인이 매우 깔끔하게 정리되어 있어서 논문의 overview가 필요할 때 유용하게 사용될 수 있을 것 같다. 😮👍 기본적으로는 학회의 발표영상이 올라가있고, 저자가 직접 요청하면 다른 영상으로 변경할 수 있다고 한다. 다만 2021년까지의 paper talk은 아카이브가 되어 있는데, 2022년..

SimCLR와 함께 가장 유명한 contrastive learning-based self-supervised learning 논문이다. CVPR 2020에서 발표된 논문이고, Kaiming He가 저자로 참여하였다. Paper, Code GitHub - facebookresearch/moco: PyTorch implementation of MoCo: https://arxiv.org/abs/1911.05722 PyTorch implementation of MoCo: https://arxiv.org/abs/1911.05722 - GitHub - facebookresearch/moco: PyTorch implementation of MoCo: https://arxiv.org/abs/1911.05722 gith..

NeurIPS 2021에서 발표된 논문으로, single image super-resolution (SISR)을 위해 uncertainty를 이용한 loss를 제안했다. 맨 아래에 PyTorch로 구현된 코드를 정리해 놓았다. 논문 링크: https://papers.nips.cc/paper/2021/file/88a199611ac2b85bd3f76e8ee7e55650-Paper.pdf Supplementary: https://papers.nips.cc/paper/2021/file/88a199611ac2b85bd3f76e8ee7e55650-Supplemental.pdf Homepage: https://see.xidian.edu.cn/faculty/wsdong/Projects/UDL-SR.htm https:/..

Bag of Tricks for Image Classification with Convolutional Neural Networks (He et al., CVPR 2019)에서 소개된 ResNet의 변형 모델들(tweaks)에 대한 PyTorch 코드이다. 논문에서는 두 개의 유명한 변형 모델인 ResNet-B, C를 소개하고, 새로운 구조인 ResNet-D를 제안하고 있다. ResNet 기본적인 ResNet의 구조는 Input stem과 4개의 stage, 그리고 마지막 output layer로 이루어져 있다. Input stem : 7x7 conv와 maxpool로 이루어져 있으며, channel dim을 64로 늘리고 input size를 4배 줄인다. Stage : 한 개의 downsampling..