IBOK

위 동영상에서 PyTorch Autograd를 이해하기 쉽게 설명해주고 있다. 다음은 위 동영상을 간단히 정리한 글이다. 1. torch.Tensor 각 tensor은 다음의 attr을 갖는다 data: tensor의 값 grad: tensor의 gradient 값. is_leaf인 경우에만 gradient가 자동으로 저장된다. grad_fn: gradient function. 해당 tensor가 어떤 연산을 통해 forward되었는지에 따라 결정된다. ex) a * b = c 인 경우 c의 grad_fn은 MulBackward이다. is_leaf인 경우 None is_leaf: (backward 기준) 가장 마지막 tensor인지 requires_grad: 계산 그래프의 일부로 들어갈 것인지 2. gr..

PyTorch 2.0 Overview pytorch.org PyTorch 2.0은 22년 12월 PyTorch Conference에서 발표되었고, 23년 3월 정식 릴리즈 되었다. 이전의 PyTorch 1.x 버전들보다 빠르고, Pythonic하고 Dynamic하다고 한다. 어떤 점들이 달라졌을지 한번 알아봅시다. torch.compile torch.compile은 PyTorch 2.0의 메인 API이다. 모델을 미리 컴파일하여 속도를 높이는 기술이다. torch.compile은 TorchDynamo, AOTAutograd, PrimTorch, TorchInductor 네 가지의 새로운 기술을 기반으로 만들어졌다. 각 기술에 대한 자세한 설명은 여기에서 찾아볼 수 있다. 사용법 torch.compile은..

PyTorch tensor에 사용할 수 있는 detach() method는 gradient의 전파를 멈추는 역할을 한다. https://pytorch.org/docs/stable/generated/torch.Tensor.detach.html torch.Tensor.detach — PyTorch 1.13 documentation Shortcuts pytorch.org 다음 예시를 통해 쉽게 이해할 수 있다. import torch import torch.nn as nn class TestModel(nn.Module): def __init__(self): super().__init__() self.layer1 = nn.Linear(10, 10) self.layer2 = nn.Linear(10, 10) def..

PyTorch의 nn.Embedding layer을 초기화하는 방법에는 두 가지가 있다. embedding = nn.Embedding(num_embeddings, embedding_dim) 1. torch.tensor의 내장 method 이용하기 embedding.weight.data.uniform_(-1, 1) torch.tensor은 uniform_ 등의 내장 method를 가지고 있어 이를 통해 값을 초기화할 수 있다. 2. torch.nn.init 이용하기 nn.init.uniform_(embedding.weight, -1.0, 1.0) torch.nn.init의 method들을 이용할 수도 있다. 이 방법을 이용하면 uniform_ 이외에도 xavier_uniform_ 등 보다 다양한 initi..

사용할 이미지 Load image import cv2 import matplotlib.pyplot as plt img = cv2.imread('dog.jpg', cv2.IMREAD_GRAYSCALE) img = cv2.resize(img, (256, 256)) print(img.shape) plt.imshow(img, cmap='gray') plt.colorbar() (256, 256) FFT and IFFT using numpy import numpy as np fft_img = np.fft.fftshift(np.fft.fft2(img, norm='ortho')) print(fft_img.shape, fft_img.dtype) plt.imshow(np.abs(fft_img), cmap='gray') p..

Official Docs: https://pytorch.org/vision/main/generated/torchvision.utils.make_grid.html make_grid — Torchvision main documentation Shortcuts pytorch.org 여러개의 이미지를 합쳐서 하나의 grid로 만들어주는 torchvision.utils.make_grid 함수를 소개해 보고자 한다. tensor (Tensor or list) : grid를 만들 이미지들. 4D mini-batch Tensor (B x C x H x W) 혹은 동일한 크기의 image를 담고 있는 list를 줄 수 있다. nrow (int, optional) : grid의 행 갯수를 지정해줄 수 있다. 열 갯수는 자..

PyTorch model의 weight값을 바로 바꾸려고 하면 FloatTensor을 parameter로 사용할 수 없다는 에러가 발생한다. import torch.nn as nn model = nn.Sequential(nn.Linear(10, 5), nn.ReLU(), nn.Linear(5, 4, bias=False)) model[2].weight = model[2].weight/2. >> cannot assign 'torch.FloatTensor' as parameter 'weight' (torch.nn.Parameter or None expected) 학습 도중 사용하는 weight normalization은 nn.utils.weight_norm을 사용하면 되는 것 같지만, 바로 weight 값에 ..

PyTorch 에서 제공하는 convolution 함수에 설정 가능한 parameter 중padding과 padding_mode라는 것이 있다. padding의 경우 padding의 크기를 지정할 수 있는 parameter인데 (int 혹은 tuple), PyTorch 1.9.0부터 string으로 지정할 수 있는 옵션이 추가되었다. 이는 Tensorflow에서는 원래 있던 옵션인데, padding의 크기를 직접 지정하는 대신 same 혹은 valid 옵션을 주면 input size에 맞게 자동으로 padding 크기가 설정된다. valid는 padding을 따로 주지 않고 input image 자체만을 이용해 convolution 연산을 수행한다. same은 output size가 input size와..

이전 글에서 PyTorch를 이용한 gradient clipping을 소개했는데, gradient가 아니라 weight 값 자체를 일정 범위 안으로 제한해야 하는 경우가 있다. 이 경우 Weight clipping을 수행해주는 class를 정의하여 사용할 수 있다. 출처: https://discuss.pytorch.org/t/set-constraints-on-parameters-or-layers/23620 Set constraints on parameters or layers Hi, are there any ways in Pytorch to set the range of parameters or values in each layer? For example, is it able to constrain th..

딥러닝 모델을 학습시키던 중 다음과 같은 에러가 발생했다. RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [CUDAComplexFloatType [1, 256, 232]], which is output 0 of SubBackward0, is at version 10; expected version 9 instead. Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True). ..