IBOK

NVIDIA와 Baidu에서 연구하고 ICLR 2018에 발표된 논문인 Mixed Precision Training을 바탕으로 정리한 글입니다. 딥러닝 학습 과정에서 Mixed Precision을 이용하여 GPU resource를 효율적으로 사용할 수 있는 방법입니다. (NVIDIA 블로그 정리글: developer.nvidia.com/blog/mixed-precision-training-deep-neural-networks/) Floating Point Format 실수를 컴퓨터로 나타내는 방법에 고정소수점(Fixed Pint) 방식과 부동소수점(Floating Point) 방식이 존재합니다. (부동소수점 방식은 떠돌이 소수점 방식이라고도 한다고 합니다. 귀엽네요) 고정소수점 방식은 정수부와 소수부를 ..

Carlini, Nicholas, and David Wagner. "Magnet and" efficient defenses against adversarial attacks" are not robust to adversarial examples." arXiv preprint arXiv:1711.08478 (2017). - 2017년 Carlini와 Wagner이 제안한 MagNet과 "Efficient Defenses~"의 반박 논문.- 1) Meng et al.의 MagNet (2017), 2) Zantedeschi et al.의 "Efficient Defenses Against Adversarial Attacks" (2017), 3) Shen et al.의 APE-GAN (2017) 3가지의 adve..

Cho, Seung Ju, et al. "DAPAS: Denoising Autoencoder to Prevent Adversarial attack in Semantic Segmentation." arXiv preprint arXiv:1908.05195 (2019). Abstract - Denoise autoencoder을 이용하여 semantic segmentation에 대한 adversarial defense 기법을 제안 Introduction - image를 pixel level에서 재구성하여 깨끗한 image를 만든다. - 1) Gaussian distribution, 2) Uniform distribution, 3) Bimodal distribution을 noise로 사용. - Dataset : ..

Meng, Dongyu, and Hao Chen. "Magnet: a two-pronged defense against adversarial examples." Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security. 2017. 이미지 출처 : https://www.youtube.com/watch?v=wZ-wIdAcWQE 2017년에 제안된, autoencoder을 이용한 adversarial defense 방법. 개요 - Adversarial attack에 대한 defense 방법. - Autoencoder을 이용하여 "sanitize" 한 input을 classifier에 넣는다. 장점 - target ..