IBOK

vscode로 원격접속해서 같은 tex 파일을 열었는데, local에서는 citation이 잘 되던 것이 ssh로 접속했을 때는 ? 표시가 달리면서 모든 citation에 대해 undefined citation 이라는 에러가 발생했다. 컴파일러 문제가 있나 했는데 아니였다. 해결 방법은 간단하다. Tex 탭에서 Build LaTeX project -> Clean up auxiliary files 를 통해 이전에 생성된 더미 파일들을 지워주고, Recipe: pdflatex -> bibtex -> pdflatex x 2로 다시 compile하면 제대로 동작한다.

CVPR 2019에 발표된 Dual Attention Network for Scene Segmentation이다. Scene segmentation에 attention을 적용하여 성능을 향상시켰다. 논문 링크: https://openaccess.thecvf.com/content_CVPR_2019/papers/Fu_Dual_Attention_Network_for_Scene_Segmentation_CVPR_2019_paper.pdf Code: https://github.com/junfu1115/DANet Abstract - self-attention을 이용해 scene segmentation task에서 rich contextual dependency를 포착는 것을 목표로 한다. - 기존의 attention..

PyTorch 에서 제공하는 convolution 함수에 설정 가능한 parameter 중padding과 padding_mode라는 것이 있다. padding의 경우 padding의 크기를 지정할 수 있는 parameter인데 (int 혹은 tuple), PyTorch 1.9.0부터 string으로 지정할 수 있는 옵션이 추가되었다. 이는 Tensorflow에서는 원래 있던 옵션인데, padding의 크기를 직접 지정하는 대신 same 혹은 valid 옵션을 주면 input size에 맞게 자동으로 padding 크기가 설정된다. valid는 padding을 따로 주지 않고 input image 자체만을 이용해 convolution 연산을 수행한다. same은 output size가 input size와..

VS Code의 LaTex Workshop extension은 자동 맞춤법 검사를 제공하지 않는다. 대신 official github에서 다음 두 개의 extension을 추천하고 있다. 둘 다 설치해서 비교해 봤는데, 서로 차이가 조금 있고, 둘 다 워드보다 성능이 떨어지는 듯 하다.. 그렇지만 나는 더 이것저것 설치해 보기는 귀찮아서 둘 중 하나를 쓰려고 한다. 이 글에서는 두 extension의 차이점을 소개하고자 한다. LTeX https://github.com/valentjn/vscode-ltex GitHub - valentjn/vscode-ltex: LTeX: Grammar/spell checker for VS Code using LanguageTool with support for LaTeX..

이전 글에서 PyTorch를 이용한 gradient clipping을 소개했는데, gradient가 아니라 weight 값 자체를 일정 범위 안으로 제한해야 하는 경우가 있다. 이 경우 Weight clipping을 수행해주는 class를 정의하여 사용할 수 있다. 출처: https://discuss.pytorch.org/t/set-constraints-on-parameters-or-layers/23620 Set constraints on parameters or layers Hi, are there any ways in Pytorch to set the range of parameters or values in each layer? For example, is it able to constrain th..

딥러닝 모델을 학습시키던 중 다음과 같은 에러가 발생했다. RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [CUDAComplexFloatType [1, 256, 232]], which is output 0 of SubBackward0, is at version 10; expected version 9 instead. Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True). ..

Generative Adversarial Networks in Computer Vision: A Survey and Taxonomy (CSUR 2021) 을 바탕으로, 중요한 GAN 모델들을 정리해 보고자 합니다. 논문에는 더 다양한 모델들이 소개되어 있으나, 그 중 일부만 정리하였습니다. GAN에 대해 어느 정도 배경지식이 있는 분들을 위한 글이며, 본 논문에서는 각 모델에 대한 간단한 요약만 포함하고 있어, 추가로 조사한 내용을 포함시켰으며 참고할 만한 외부 글들은 링크를 걸어놓았습니다. Paper: https://dl.acm.org/doi/pdf/10.1145/3439723 Code: https://github.com/sheqi/GAN_Review 목차는 다음과 같습니다. Introduction B..

CVPR 2021에 발표된 MR reconstruction 관련 논문이다. Model-based method를 이용하여 k-space와 image domain 둘 다에서 reconstruction을 진행하고, coil sensitivity map 역시 CNN으로 계산하여 fastMRI 2020 challenge에서 2위를 차지했다. 논문 링크 : https://openaccess.thecvf.com/content/CVPR2021/papers/Jun_Joint_Deep_Model-Based_MR_Image_and_Coil_Sensitivity_Reconstruction_Network_CVPR_2021_paper.pdf Introduction Deep learning을 이용한 MR reconstruction..

PyTorch 모델을 시각화할 수 있는 툴 세가지를 소개한다. 출처: https://stackoverflow.com/questions/52468956/how-do-i-visualize-a-net-in-pytorch How do I visualize a net in Pytorch? import torch import torch.nn as nn import torch.optim as optim import torch.utils.data as data import torchvision.models as models import torchvision.datasets as dset import torchvision.transforms as stackoverflow.com 1. Torchviz https://git..

Gradient clipping은 너무 크거나 작은 gradient의 값을 제한하여 vanishing gradient나 exploding gradient 현상을 방지하는 방법이다. 특히 RNN에서 자주 발생하는 현상인데 이외에도 깊은 네트워크에서 유용하게 사용될 수 있는 방법이다. 중간에 loss가 너무 뛰면서 weight update가 이상한 방향으로 진행된다면 사용해볼 수 있다. 아래 글을 참고하였다. https://neptune.ai/blog/understanding-gradient-clipping-and-how-it-can-fix-exploding-gradients-problem Understanding Gradient Clipping (and How It Can Fix Exploding Grad..