IBOK

PyTorch 모델을 시각화할 수 있는 툴 세가지를 소개한다. 출처: https://stackoverflow.com/questions/52468956/how-do-i-visualize-a-net-in-pytorch How do I visualize a net in Pytorch? import torch import torch.nn as nn import torch.optim as optim import torch.utils.data as data import torchvision.models as models import torchvision.datasets as dset import torchvision.transforms as stackoverflow.com 1. Torchviz https://git..

Gradient clipping은 너무 크거나 작은 gradient의 값을 제한하여 vanishing gradient나 exploding gradient 현상을 방지하는 방법이다. 특히 RNN에서 자주 발생하는 현상인데 이외에도 깊은 네트워크에서 유용하게 사용될 수 있는 방법이다. 중간에 loss가 너무 뛰면서 weight update가 이상한 방향으로 진행된다면 사용해볼 수 있다. 아래 글을 참고하였다. https://neptune.ai/blog/understanding-gradient-clipping-and-how-it-can-fix-exploding-gradients-problem Understanding Gradient Clipping (and How It Can Fix Exploding Grad..

다음 함수를 이용해 PyTorch scheduler을 시각화할 수 있다. import matplotlib.pyplot as plt def visualize_scheduler(optimizer, scheduler, epochs): lrs = [] for _ in range(epochs): optimizer.step() lrs.append(optimizer.param_groups[0]['lr']) scheduler.step() plt.plot(lrs) plt.show() scheduler.get_lr()로 learning rate를 얻어오지 않고 optimizer.param_groups[0]['lr']로 얻어오는 이유는, ReduceLROnPlateau 등의 scheduler의 경우 get_lr() meth..

ReduceLROnPlateau는 더이상 학습이 진행되지 않을 때 learning rate를 감소시키는 scheduler이다. scheduler에 input으로 metric을 주면, 일정 epoch 동안 변화가 없을 때 learning rate를 감소시킨다. 주요 Parameter은 다음과 같다. mode: [min, max] 중 하나. Input으로 주는 metric이 낮을수록 좋은지, 높을수록 좋은지를 의미한다. 'min' option을 주면, metric의 감소가 멈출 때마다 learning rate를 감소시킨다. factor: Learning rate를 감소시키는 비율. new_lr = lr * factor이 된다. patience: Metric이 얼마 동안 변화가 없을 때 learning rat..

Cosine Annealing은 SGDR: Stochastic Gardient Descent with Warm Restarts에서 제안된 learning rate scheduling 방법이다. Cosine Annealing은 learning rate가 cosine 함수의 주기를 따라 감소하고, 증가하는 과정을 반복한다. 우선, Cosine Annealing의 수식은 다음과 같다. $\eta_t=\eta_{min}+\frac12(\eta_{max}-\eta_{min})(1+cos(\frac{T_{cur}}{T_{max}}\pi))$ $\eta$는 learning rate를 나타낸다. Cosine Annealing에서 설정 가능한 parameter은 다음과 같다. 1. $\eta_{min}$ : 최소 lea..

참고 : https://discuss.pytorch.org/t/when-should-i-use-nn-modulelist-and-when-should-i-use-nn-sequential/5463/3 When should I use nn.ModuleList and when should I use nn.Sequential? From what I see, it is interchangeable then? Unless there is some order to be followed, then we should use Sequential. Am I right? discuss.pytorch.org official docs : https://pytorch.org/docs/stable/generated/torch.nn.M..

www.kaggle.com/pmigdal/livelossplot-for-training-loss-tracking Livelossplot은 학습 과정에서 real-time으로 실행 로그를 보여주는 패키지이다. 다음과 같이 설치할 수 있다. !pip install livelossplot 아래는 사용 예제이다. from livelossplot import PlotLosses liveloss = PlotLosses() model = model.to(device) loss_F = nn.MSELoss() for epoch in range(num_epochs): logs = {} for phase in ['train', 'validation']: if phase == 'train': model.train() else..

state_dict - torch.nn.Module 모델의 각 계층의 학습 가능한 매개변수(model.parameters())들을 매핑하는 dictionary 객체. - torch.optim 옵티마이저 객체 또한 옵티마이저의 상태와 사용된 하이퍼파라미터 정보를 포함한 state_dict를 가짐. state_dict 저장하기/불러오기 저장하기 torch.save(model.state_dict(), PATH) 불러오기 model = TheModelClass(*args, **kwargs) model.load_sate_dict(torch.load(PATH) model.eval() - inference를 위해 학습된 모델의 학습된 매개변수만 state_dict를 이용하여 저장하는 방법. - 모델 저장 시 .pt ..