IBOK

이전 글에서 PyTorch를 이용한 gradient clipping을 소개했는데, gradient가 아니라 weight 값 자체를 일정 범위 안으로 제한해야 하는 경우가 있다. 이 경우 Weight clipping을 수행해주는 class를 정의하여 사용할 수 있다. 출처: https://discuss.pytorch.org/t/set-constraints-on-parameters-or-layers/23620 Set constraints on parameters or layers Hi, are there any ways in Pytorch to set the range of parameters or values in each layer? For example, is it able to constrain th..

딥러닝 모델을 학습시키던 중 다음과 같은 에러가 발생했다. RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [CUDAComplexFloatType [1, 256, 232]], which is output 0 of SubBackward0, is at version 10; expected version 9 instead. Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True). ..

PyTorch 모델을 시각화할 수 있는 툴 세가지를 소개한다. 출처: https://stackoverflow.com/questions/52468956/how-do-i-visualize-a-net-in-pytorch How do I visualize a net in Pytorch? import torch import torch.nn as nn import torch.optim as optim import torch.utils.data as data import torchvision.models as models import torchvision.datasets as dset import torchvision.transforms as stackoverflow.com 1. Torchviz https://git..

Gradient clipping은 너무 크거나 작은 gradient의 값을 제한하여 vanishing gradient나 exploding gradient 현상을 방지하는 방법이다. 특히 RNN에서 자주 발생하는 현상인데 이외에도 깊은 네트워크에서 유용하게 사용될 수 있는 방법이다. 중간에 loss가 너무 뛰면서 weight update가 이상한 방향으로 진행된다면 사용해볼 수 있다. 아래 글을 참고하였다. https://neptune.ai/blog/understanding-gradient-clipping-and-how-it-can-fix-exploding-gradients-problem Understanding Gradient Clipping (and How It Can Fix Exploding Grad..

Manual: https://docs.h5py.org/en/stable/ HDF5 for Python — h5py 3.5.0 documentation © Copyright 2014, Andrew Collette and contributors Revision fb9989a7. docs.h5py.org h5py는 HDF5 데이터 포맷을 Python으로 다룰 수 있는 패키지이다. HDF5를 이용하면 대량의 NumPy 데이터 등을 손쉽게 관리할 수 있다. About HDF5 HDF는 Hierarchical Data Format의 약자이다. HDF5의 모든 object는 각자의 'name'이 있고, 다음과 같이 계층적인 구조로 관리된다. 일반적인 운영체제의 파일시스템을 생각하면 된다. 폴더와 파일로 이루어져 있는..

세상에 이런 편리한 함수도 있었다니.. 하는 함수들 모음 🙊 (모으는 중) 1. numpy.rint(a) array의 각 원소를 반올림한다. a = np.array([-1.1, -2.7, 3.0, 4.3, 5.5, 6.5]) print(np.rint(a)) >> [-1. -3. 3. 4. 6. 6.] 2. numpy.around(a, decimals=0) array의 각 원소를 주어진 소수점 위치(decimals)에서 반올림한다. a = np.array([1.2345, 2.3456, 3.4567, -4.5678]) print(np.around(a, 2)) >> [ 1.23 2.35 3.46 -4.57] 3. numpy.clip(a, a_min, a_max) array의 각 원소를 주어진 범위로 clip한..

Python의 print 함수에는 출력할 내용 외에도 다른 인자를 전달할 수 있다. 그 중 하나인 'sep'은 출력할 내용들을 어떻게 분리할 것인지를 지정할 수 있다. 기본값은 ' ' 으로 설정되어 있다. 만약 '\n'으로 sep 옵션을 설정하면, 입력받은 인자들을 줄바꿈으로 분리하여 출력해 준다.

다음 함수를 이용해 PyTorch scheduler을 시각화할 수 있다. import matplotlib.pyplot as plt def visualize_scheduler(optimizer, scheduler, epochs): lrs = [] for _ in range(epochs): optimizer.step() lrs.append(optimizer.param_groups[0]['lr']) scheduler.step() plt.plot(lrs) plt.show() scheduler.get_lr()로 learning rate를 얻어오지 않고 optimizer.param_groups[0]['lr']로 얻어오는 이유는, ReduceLROnPlateau 등의 scheduler의 경우 get_lr() meth..

ReduceLROnPlateau는 더이상 학습이 진행되지 않을 때 learning rate를 감소시키는 scheduler이다. scheduler에 input으로 metric을 주면, 일정 epoch 동안 변화가 없을 때 learning rate를 감소시킨다. 주요 Parameter은 다음과 같다. mode: [min, max] 중 하나. Input으로 주는 metric이 낮을수록 좋은지, 높을수록 좋은지를 의미한다. 'min' option을 주면, metric의 감소가 멈출 때마다 learning rate를 감소시킨다. factor: Learning rate를 감소시키는 비율. new_lr = lr * factor이 된다. patience: Metric이 얼마 동안 변화가 없을 때 learning rat..

Cosine Annealing은 SGDR: Stochastic Gardient Descent with Warm Restarts에서 제안된 learning rate scheduling 방법이다. Cosine Annealing은 learning rate가 cosine 함수의 주기를 따라 감소하고, 증가하는 과정을 반복한다. 우선, Cosine Annealing의 수식은 다음과 같다. $\eta_t=\eta_{min}+\frac12(\eta_{max}-\eta_{min})(1+cos(\frac{T_{cur}}{T_{max}}\pi))$ $\eta$는 learning rate를 나타낸다. Cosine Annealing에서 설정 가능한 parameter은 다음과 같다. 1. $\eta_{min}$ : 최소 lea..