IBOK

Optuna는 파이썬 기반의 하이퍼파라미터 최적화 (hyperparameter optimization) 프레임워크로, 심플하고 유연한 API를 제공한다. 본 글에서는 Optuna의 주요 기능과 사용방법을 간단히 소개하고자 한다. 공식 Docs: https://optuna.readthedocs.io/en/stable/index.html Optuna: A hyperparameter optimization framework — Optuna 3.4.0 documentation © Copyright 2018, Optuna Contributors. Revision 4ea580fc. optuna.readthedocs.io Basic concepts Optuna는 study와 trial을 다음과 같이 정의한다. Stu..

위 동영상에서 PyTorch Autograd를 이해하기 쉽게 설명해주고 있다. 다음은 위 동영상을 간단히 정리한 글이다. 1. torch.Tensor 각 tensor은 다음의 attr을 갖는다 data: tensor의 값 grad: tensor의 gradient 값. is_leaf인 경우에만 gradient가 자동으로 저장된다. grad_fn: gradient function. 해당 tensor가 어떤 연산을 통해 forward되었는지에 따라 결정된다. ex) a * b = c 인 경우 c의 grad_fn은 MulBackward이다. is_leaf인 경우 None is_leaf: (backward 기준) 가장 마지막 tensor인지 requires_grad: 계산 그래프의 일부로 들어갈 것인지 2. gr..

HuggingFace Space는 간편하고 쉽게 ML 데모 앱을 만들 수 있는 공간이다. Spaces - Hugging Face Spaces Discover amazing ML apps made by the community! huggingface.co Space들의 예시는 다음과 같다. 1: text-to-image Rich Text To Image - a Hugging Face Space by songweig huggingface.co 2: chat-with-GPT4 Chat-with-GPT4 - a Hugging Face Space by ysharma huggingface.co 본 글에서는 이러한 HuggingFace Space를 만드는 법에 대해 간략히 소개하고자 합니다. 보다 자세한 설명은 공식..

PyTorch 2.0 Overview pytorch.org PyTorch 2.0은 22년 12월 PyTorch Conference에서 발표되었고, 23년 3월 정식 릴리즈 되었다. 이전의 PyTorch 1.x 버전들보다 빠르고, Pythonic하고 Dynamic하다고 한다. 어떤 점들이 달라졌을지 한번 알아봅시다. torch.compile torch.compile은 PyTorch 2.0의 메인 API이다. 모델을 미리 컴파일하여 속도를 높이는 기술이다. torch.compile은 TorchDynamo, AOTAutograd, PrimTorch, TorchInductor 네 가지의 새로운 기술을 기반으로 만들어졌다. 각 기술에 대한 자세한 설명은 여기에서 찾아볼 수 있다. 사용법 torch.compile은..

기본편 - 자동 저장 Saving and loading checkpoints (basic) — PyTorch Lightning 1.9.0 documentation Shortcuts pytorch-lightning.readthedocs.io PyTorch Lightning의 Trainer을 이용해 학습을 진행하면, 자동으로 가장 마지막 training epoch의 checkpoint를 저장해준다. trainer = Trainer() 만약 checkpoint가 저장되는 위치를 바꾸고 싶다면 다음과 같이 지정해줄 수 있다. trainer = Trainer(default_root_dir='path/to/') 혹은 별도로 checkpoint 저장을 하지 않으려면 다음과 같이 지정하면 된다. trainer = Tr..

Logging — PyTorch Lightning 1.8.6 documentation Shortcuts pytorch-lightning.readthedocs.io 로그를 기록하는 방법은 Lightening Module에서 self.log()나 self.log_dict()를 이용하면 된다. def training_step(self, batch, batch_idx): self.log_dict({'acc': acc, 'recall': recall}) self.log('acc', acc) logging (log(), log_dict() 모두 동일하게 적용) 의 중요한 인자는 on_step과 on_epoch이다. on_step: 현재 step에 logging on_epoch: 로그를 축적하여 epoch 마지막에 ..

PyTorch tensor에 사용할 수 있는 detach() method는 gradient의 전파를 멈추는 역할을 한다. https://pytorch.org/docs/stable/generated/torch.Tensor.detach.html torch.Tensor.detach — PyTorch 1.13 documentation Shortcuts pytorch.org 다음 예시를 통해 쉽게 이해할 수 있다. import torch import torch.nn as nn class TestModel(nn.Module): def __init__(self): super().__init__() self.layer1 = nn.Linear(10, 10) self.layer2 = nn.Linear(10, 10) def..

PyTorch의 nn.Embedding layer을 초기화하는 방법에는 두 가지가 있다. embedding = nn.Embedding(num_embeddings, embedding_dim) 1. torch.tensor의 내장 method 이용하기 embedding.weight.data.uniform_(-1, 1) torch.tensor은 uniform_ 등의 내장 method를 가지고 있어 이를 통해 값을 초기화할 수 있다. 2. torch.nn.init 이용하기 nn.init.uniform_(embedding.weight, -1.0, 1.0) torch.nn.init의 method들을 이용할 수도 있다. 이 방법을 이용하면 uniform_ 이외에도 xavier_uniform_ 등 보다 다양한 initi..

Tensorboard에서는 각 차트에 자동으로 색깔을 할당한다. 그런데 가끔 이 색깔이 서로 겹쳐서 불편할 때가 있다.. 안타깝게도 Tensorboard에서 차트 색깔 변경은 지원하지 않고 있다고 한다. 대신 완성된 차트를 그림파일로 저장하거나 할 때 색깔을 바꾸는 방법을 소개하고자 한다. 1. 다운로드 버튼 활성화 Tensorboard 화면의 좌측상단에 Show data downloads links를 눌러 데이터 다운로드 버튼을 활성화한다. 2. 데이터 다운로드 사용할 차트의 좌측 하단 다운로드 버튼을 눌러 .svg 파일을 다운로드한다. 다운로드 받은 파일은 브라우저에서 열 수 있다. 3. 색깔 수정 .svg 파일을 text editor로 열어 값을 확인할 수 있다. 보기 힘들게 되어있긴 한데.. 각 ..

Tensorflow tutorial-Classify text with BERT를 번역 및 정리한 글. BERT를 이용한 예제가 대부분 Huggingface를 이용한 것인데, BERT를 공부하기에는 Huggingface를 쓰지 않고 Tensorflow나 PyTorch를 이용한 코드가 더 나을 거라고 생각해 찾다가 발견했다. 원글 링크: (한국어 번역이 잘 안되어 있음) BERT로 텍스트 분류 | Text | TensorFlow 이 페이지는 Cloud Translation API를 통해 번역되었습니다. Switch to English BERT로 텍스트 분류 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. 이 튜토리얼에는 일반 www.tensorflow.org Setup prep..