IBOK

CVPR 2019에 발표된 논문인 Class-Balanced Loss Based on Effective Number of Samples 를 정리한 글입니다. 데이터셋의 Class Imbalance를 해결하기 위해 새로운 Loss Design를 제안하는 논문입니다. Long Tailed Dataset 위 그림은 각 Class에 속하는 Sample의 갯수를 나타낸 그래프인데요, 일부 몇 개의 Class에만 Sample들이 몰려 있고, 대부분의 Class에는 매우 적은 수의 Sample이 있는 데이터셋을 Long Tailed Dataset이라고 합니다. 이러한 데이터셋을 가지고 학습한 모델은 일반적으로 성능이 잘 나오지 않는데, Large-scale, real-world 데이터셋들은 보통 Long Tailed..

NVIDIA와 Baidu에서 연구하고 ICLR 2018에 발표된 논문인 Mixed Precision Training을 바탕으로 정리한 글입니다. 딥러닝 학습 과정에서 Mixed Precision을 이용하여 GPU resource를 효율적으로 사용할 수 있는 방법입니다. (NVIDIA 블로그 정리글: developer.nvidia.com/blog/mixed-precision-training-deep-neural-networks/) Floating Point Format 실수를 컴퓨터로 나타내는 방법에 고정소수점(Fixed Pint) 방식과 부동소수점(Floating Point) 방식이 존재합니다. (부동소수점 방식은 떠돌이 소수점 방식이라고도 한다고 합니다. 귀엽네요) 고정소수점 방식은 정수부와 소수부를 ..

Carlini, Nicholas, and David Wagner. "Magnet and" efficient defenses against adversarial attacks" are not robust to adversarial examples." arXiv preprint arXiv:1711.08478 (2017). - 2017년 Carlini와 Wagner이 제안한 MagNet과 "Efficient Defenses~"의 반박 논문.- 1) Meng et al.의 MagNet (2017), 2) Zantedeschi et al.의 "Efficient Defenses Against Adversarial Attacks" (2017), 3) Shen et al.의 APE-GAN (2017) 3가지의 adve..

Cho, Seung Ju, et al. "DAPAS: Denoising Autoencoder to Prevent Adversarial attack in Semantic Segmentation." arXiv preprint arXiv:1908.05195 (2019). Abstract - Denoise autoencoder을 이용하여 semantic segmentation에 대한 adversarial defense 기법을 제안 Introduction - image를 pixel level에서 재구성하여 깨끗한 image를 만든다. - 1) Gaussian distribution, 2) Uniform distribution, 3) Bimodal distribution을 noise로 사용. - Dataset : ..

Meng, Dongyu, and Hao Chen. "Magnet: a two-pronged defense against adversarial examples." Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security. 2017. 이미지 출처 : https://www.youtube.com/watch?v=wZ-wIdAcWQE 2017년에 제안된, autoencoder을 이용한 adversarial defense 방법. 개요 - Adversarial attack에 대한 defense 방법. - Autoencoder을 이용하여 "sanitize" 한 input을 classifier에 넣는다. 장점 - target ..