IBOK

[딥러닝 논문리뷰] Depth Anything V2 (NeurIPS 2024)

복만 — Sun, 9 Mar 2025 14:26:20 +0900

논문: https://arxiv.org/pdf/2406.09414

블로그: https://depth-anything-v2.github.io/

코드: https://github.com/DepthAnything/Depth-Anything-V2

<요약>

Monocular depth estimatino (MDE) 관련 논문
Depth Anything의 후속 논문이고 다양한 크기의 모델와 벤치마크 데이터셋을 함께 공개
Synthetic dataset을 활용하여 정확도를 높이고, student teacher 모델 구조를 이용하여 효율성을 높였다.
Stable diffusion 최신 모델들에 비해 10배이상 빠르고 정확함

Related works

Monocular depth estimation (MDE)는 3D reconstruction, 네비, 자율주행 등에 활용한다.

Backbone이 되는 모델 구조에 따라 두가지로 분류가 가능하다.

1. discriminative model (BEiT, DINOv2 등)

- ex) Depth Anything

- 장점: 효율성

2. generative model (Stable diffusion 등)

- ex) Marigold

- 장점: 디테일이 좋다. 투명한 물체와 반사 등에도 효과적임.

Method

주요 아이디어는 "Real dataset에 오히려 노이즈가 많아서 안좋을 수 있다""

- 측정 센서의 부정확함 등으로 인함

- 노이즈가 없는 synthetic dataset을 이용하자.

The depth of synthetic images is truly "GT".

그럼 이전 연구들은 왜 synthetic dataset을 안썼을까? Synthetic dataset은 다음과 같은 단점이 있다.

1. distribution shift

- 그래도 여전히 real world 이미지와는 차이가 있다 (style, color distribution 등)

2. restricted scene coverage

- real world의 모든 시나리오를 담지는 못한다.

그러므로 학습에 real world 데이터는 반드시 사용해야 한다.

이를 해결하기 위해 다음과 같은 student teacher 모델 구조를 활용한다.

1. High-quality synthetic image로 teacher model을 학습한다.

- Generalization 성능이 높고 사이즈가 큰 DINOv2-G를 사용했다.

2. Teacher model을 이용해 real image의 pseudo depth label을 제작한다.

3. 이 Pseudo-labeled real image dataset을 이용해 student model을 학습한다.

이렇게 하면 다양한 사이즈의 모델을 이용해 효율성을 높이면서도 정확도가 높은 MDE 모델들을 학습시킬 수 있다.

Results

정성적 비교 결과 (위는 전작인 Depth Anything V1과 비교, 아래는 SD 기반의 Marigold와 비교)

느낀점

- DINOv2-G로 synthetic dataset에 대해 학습했을 때의 문제점 중 하나는 일부 real world data에 대해 추론 성능이 떨어지는 것이었다. 그런데 이 모델로 real world data에 대한 synthetic label을 만들어 student model을 학습시킨건데 그러면 pseudo-labeled real word dataset에도 이 문제가 고스란히 전달되는것 아닌지.. 극히 일부라 괜찮았던 것일까?

Ubuntu 22.04에 nvidia driver, cuda, cuDNN, torch 설치하기 (2024 ver)

복만 — Sun, 17 Nov 2024 16:10:29 +0900

서버 세팅은 항상 힘들다..

0. ubuntu 버전 확인

일단 사용중인 ubuntu의 버전을 확인해준다.

lsb_release -a

1. nvidia driver 설치

1-1. 외부저장소 추가

nvidia driver을 포함하는 외부저장소(PPA)를 추가하고 해당 내용을 패키지 리스트에 업데이트해준다.

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update

1-2. 설치 가능한 드라이버 목록 확인

ubuntu-drivers를 이용해 설치 가능한 nvidia driver 목록을 확인한다.

ubuntu-drivers devices

근데 나는 ubuntu-drivers가 안떴다. apt install로도 안되었음. 이를 해결하기 위해 ..

1-2-1. sources.list에 다음 설정을 추가한다.

출처) https://velog.io/@johyonghoon/ubuntu-Unable-to-locate-package-ubuntu-driver-common-%EC%97%90%EB%9F%AC-%ED%95%B4%EA%B2%B0

vi /etc/apt/sources.list

최하단에 다음 내용을 추가

deb http://archive.ubuntu.com/ubuntu bionic main restricted universe multiverse
deb http://archive.ubuntu.com/ubuntu bionic-security main restricted universe multiverse
deb http://archive.ubuntu.com/ubuntu bionic-updates main restricted universe multiverse

위 내용을 반영

sudo apt update
sudo apt install -y ubuntu-drivers-common

이렇게 하면 ubuntu-drivers가 정상적으로 뜬다.

1-3. nvidia driver 설치

다시 1-2로 돌아가 nvidia driver 목록을 확인하고.. 나는 recommended 버전인 565 버전을 설치했다.

sudo apt install nvidia-driver-565

nvidia-driver가 정상적으로 깔리면 nvidia-smi로 확인할 수 있다. 난 안되서 재부팅 했더니 됐다.

sudo reboot

...

nvidia-smi

2. cuda 설치

이제 cuda를 깔아야 하는데, 난 torch를 설치할 것이기 때문에 맞는 버전의 cuda를 깔아야 한다.

2-1. torch 설치 페이지에서 설치해야 하는 cuda의 버전을 확인한다.

https://pytorch.org/get-started/locally/

사용할 pytorch 버전, os의 종류, 설치에 이용할 패키지 (coda, pip 등)을 선택하면 어떤 버전의 cuda를 깔아야 하는지 알려준다.

nvidia-smi를 설치하면 상단에 cuda version이 뜨는데, 이건 설치된 cuda toolkit의 버전이 아니라, 설치된 nvidia driver가 지원하면 최대 cuda 버전이다.

나는 12.7로 떠서 12.4를 설치하기로 했다.

2-2. cuda 설치하기

cuda 설치 명령어는 다음 페이지를 통해 확인할 수 있다.

https://developer.nvidia.com/cuda-toolkit-archive

다 선택하면 다음과 같이 설치 명령어가 나온다. 하나씩 순차적으로 실행해준다.

2-2-1. pubkey추가

위의 명령어에서 sudo apt-get update를 했더니 pubkey가 없다는 에러가 발생..

pubkey를 등록해줬다.

출처: https://miiingo.tistory.com/363

sudo gpg --keyserver keyserver.ubuntu.com --recv-keys <PUBKEY>

터미널에 나온 pubkey를 등록해줬더니 넘어갔다.

2-3. 환경변수 추가

cuda path를 환경변수에 추가해주자.

vi ~/.bashrc

맨 아래에 다음 내용을 추가해준다.

export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

위 내용을 반영

source ~/.bashrc

2-4. cuda 설치 확인

cuda가 잘 설치되었는지 확인하기 위해 다음을 실행한다.

nvcc -V

설치가 안되었단다.. 설치를 해주자

sudo apt install nvidia-cuda-tookit

굿

3. cuDNN 설치

아래 링크에서 서버 설정값에 맞게 선택한다. cuda 설치와 똑같다. 회원가입을 해야 한다.

https://developer.nvidia.com/cudnn-downloads

tensorflow 호환성 표 도 봤는데 딱히 호환성 이슈는 없는것 같다.

난 cuda 12로 설치했으니까 마지막 커맨드를 cudnn-cuda-12로 설치했다.

4. torch 설치

4-1. torch 설치

다시 pytorch 설치페이지로 가서 서버 설정과 cuda 버전 등을 선택한다.

https://pytorch.org/get-started/locally/

4-2. 설치 확인

cuda로 잘 가나 확인해보자.

import torch

torch.cuda.is_available()

x = torch.zeros((3, 3))
x.to("cuda")

완료

토스 개발자 컨퍼런스 SLASH24 시간표 공유

복만 — Tue, 27 Aug 2024 13:43:46 +0900

담다 보니 데이터 트랙으로 다 담았다.

스페셜 세션에도 듣고 싶은 것들이 몇가지 있었는데 겹치는 데이터 트랙 세션들이 꼭 듣고 싶은 것들이라..

추첨으로 초청권을 준다는데 꼭 당첨됐으면 ~~

카카오브레인 Multimodal LLM Honeybee 논문 리뷰

복만 — Sat, 2 Mar 2024 16:09:38 +0900

카카오브레인에서 작년 말 Multimodal LLM인 Honeybee를 발표했다. 아쉽게도 한국어 모델은 아니고 영어 모델이고, 5개의 벤치마크에서 SoTA를 달성했다고 해서 뉴스가 엄청 많이 나왔다.

논문: https://arxiv.org/pdf/2312.06742.pdf

깃헙: https://github.com/kakaobrain/honeybee

GitHub - kakaobrain/honeybee: The official implementation of project "Honeybee"

The official implementation of project "Honeybee". Contribute to kakaobrain/honeybee development by creating an account on GitHub.

github.com

1. 배경

MLLM (Multimodal LLM)은 vision encoder, LLM, projector 세가지로 구성되어 있다.

vision encoder과 LLM은 각각 따로따로 사전학습된 것을 사용한다. 따라서 두 모델을 연결해주기 위해 projector가 필요하다. projector은 vision encoder에서 나온 visual feature을 LLM의 feature space로 매핑해주는 역할을 한다. 일반적으로 vision encoder과 LLM은 고정해두고 projector을 학습하는 방식으로 학습이 진행된다.

따라서 이 projector의 역할이 매우 중요한데, 크게 두 가지 타입으로 나눌 수 있다.

첫번째는 LLaVA 등에서 사용한 linear projector이다. 말그대로 linear layer을 이용해 image feature을 변환하는 방식인데, 이 방법은 feature을 일대일 매핑해야 하기 때문에 계산량이 많다는 단점이 있다.

다른 하나는 Abstractor라고 불리는 기법으로, InstructBLIP, BLIP-2, miniGPT-4 등에서 사용한 방법이다. 이들은 정해진 수의 visual token을 추출해 사용하는 방식으로, visual token의 수를 적절하게 조절할 수 있어 flexibility와 efficiency가 높으나 information loss가 있을 수 있다. Abstractor 방식은 resampler, Q-former 등이 있다.

이러한 efficiency와 flexibility 때문에 최근 abstractor 방식이 많이 사용되고 있다. 그러나 abstractor은 locality preservation이 약하다는 단점이 있다.

위 그림을 보면 큰 feature인 man만 잡아내고 pizza, glass 같은 애들은 못 잡아 내고 있는걸 볼 수 있다. 따라서 spatial understanding 능력이 떨어진다.

본 논문에서는 이러한 단점을 극복하기 위해 local context를 보존할 수 있는 abstractor 방식을 새롭게 제안하고, 이를 적용한 MLLM인 Honeybee를 발표했다.

2. Honeybee

Honeybee의 전체 구조는 위와 같다. vision encoder에서 visual feature을 추출 후 projector을 거쳐 visual token으로 변환하고, text token과 함께 LLM의 input으로 넣는다.

여기까지는 여타 MLLM들과 동일한 구조이고, 핵심 구조는 새롭게 제안한 projector인 C-abstractor과 D-abstractor이다.

C-Abstractor은 local context를 잘 포착하는 convolution을 이용다. ResNet을 여러개 쌓아 visual token을 추출한다.

D-Abstractor은 DETR에서 제안한 deformable attention을 이용하여 visual token을 추출한다.

3. 학습방법

학습은 두단계로 진행된다. 첫번째로 vision encoder과 LLM은 freeze하고 abstractor만 학습한다. 그 다음으로 freeze를 풀고 모든 parameter을 세부 조정하는 단계를 거친다.

LLM으로는 Vicuna-v1.5 (7B, 13B) 두가지 크기의 모델을 이용했고, vision encoder은 CLIP ViT-L/14 모델을 이용했다.

4. 실험결과

결과 요약 - 5개 bench에서 SoTA를 달성했다.

참고로 각 bench의 예시는 다음과 같다.

솔직히 사람이 봐도 좀 어렵다.

보다 자세한 결과 지표는 다음과 같다.

Qwen이나 LLaVA 등은 더 큰 vision encoder / image resolution / 더 많은 visual token을 이용했지만 Honeybee의 성능이 더 높았다고 한다.

Honeybee도 이렇게 image resolution과 visual token 수를 높이면 성능이 더 상승한다고 한다.

다음은 실험단계에서 세운 각 가설에 대한 검증이다.

C/D-abstractor이 local context preservation에 좋다는 것을 보이기 위해 spatial understanding capability를 볼 수 있는 task에 대한 성능을 측정했다고 한다.

위는 performance와 efficiency에 대한 비교이다. linear은 앞서 말했듯이 일대일 대응이라 flexibility가 아예 없다. resampler과 C-abstractor은 flexible하게 디자인할 수 있으며, visual token 수가 늘어날수록 성능이 증가하는 양상을 보이나 C-abstractor의 성능이 훨씬 좋다.

마지막으로 Honeybee가 생성한 답변의 예시들이다.

참 잘하네..

[딥러닝 논문리뷰] MeZO: Fine-Tuning Language Models with Just Forward Passes (NeurIPS 2023)

복만 — Sun, 28 Jan 2024 22:42:01 +0900

논문 링크: https://arxiv.org/pdf/2305.17333.pdf

발표 영상: https://neurips.cc/virtual/2023/poster/71437

코드: https://github.com/princeton-nlp/MeZO

NeurIPS 2023

Abstract: Fine-tuning language models (LMs) has yielded success on diverse downstream tasks, but as LMs grow in size, backpropagation requires a prohibitively large amount of memory. Zeroth-order (ZO) methods can in principle estimate gradients using only

neurips.cc

(L)LM fine-tuning에는 메모리가 많이 든다. Adam을 이용한 backpropagation은 inference의 약 12배 정도의 메모리가 필요하다. 이를 해결하기 위해 inference와 동일한 크기의 메모리로 LM을 fine-tuning할 수 있는 MeZO를 제시한다.

1. Introduction

(L)LM fine-tuning에는 메모리가 많이 든다. (Adam: inference의 12배정도) 왜냐면 Adam과 같은 optimizer들은 forward activation, backward gradient, gradient history 등을 다 기록해둬야 하기 때문이다. 이때문에 A100 GPU 사용 시 inference만 하면 30B LLM을 돌릴 수 있지만, Adam을 이용한 backpropagation은 2.7B LLM이 한계이다.

prompt engineering을 통한 In-context learning (ICL)의 경우 single inference만으로 모델을 fine-tune할 수 있지만, 직접 backpropagation을 통해 모델 weight를 업데이트 하는 것보다는 성능이 떨어질 수밖에 없다.

ZO-SGD(zeroth-order optimization) 방법은 loss value 간의 차이만을 이용해 gradient를 추정한다. 그러나 이 방법은 여전히 inference의 두 배에 해당하는 메모리가 필요하며 모델 사이즈가 커질수록 수렴이 느려진다고 알려져 있다. 때문에 LM 학습에는 직접적으로 활용된 바가 없다.

MeZO(memory-efficient zeroth-order optimizer)는 inference와 동일한 크기의 메모리만을 이용해 모델을 업데이트한다. MeZO는 billion 규모의 파라미터를 가진 LM을 성공적으로 fine-tuning 하는데에 성공했다.

2. Method

MeZO는 ZO-SGD에 기반을 두고 있다. SPSA는 ZO에서 사용하는 클래식한 gradient estimator로, 단 두 번의 forward pass만을 이용해 gradient를 추정할 수 있다.

SPSA의 gradient 추정 방법은 다음과 같다.

Randon direction $z$가 샘플링된다.
모델의 parameter들은 $\pm z$ 방향으로 perturb된다.
각 방향에서 계산된 loss를 이용하면, $\epsilon \rightarrow 0$ 일 때, 위 식을 이용해 loss를 근사할 수 있다.

이렇게 추정한 gradient를 이용하면 아무 optimizer나 이용해서 parameter update를 할 수 있다. SGD에 사용하는 예시는 다음과 같다.

그런데, SPSA는 inference의 두 배 메모리가 필요하다. 그 이유는 매번 sampling하는 $z$의 크기가 parameter의 전체 크기와 동일하기 때문이다.

$z \sim \mathcal N(0, I_d)\in \mathbb R^d$

MeZO의 알고리즘은 다음과 같다.

Random seed s를 뽑는다.
Parameter perturbation은 in-place로 진행되는데, 매번 parameter perturbation을 할 때마다 random number generator을 초기화한다.
Parameter perturbation은 parameter 하나씩 iteration을 돌면서 진행되는데, 매 iteration마다 각각의 parameter의 perturbation에 사용될 z를 random number generator을 이용해 뽑는다.
첫번째 parameter perturbation: +$\epsilon$ 만큼 perturb해서 +방향의 loss 계산
두번째 parameter perturbation: -2$\epsilon$ 만큼 perturb해서 -방향의 loss 계산
세번째 parameter perturbation: -$\epsilon$ 만큼 perturb해서 원래대로 복귀
+- 방향의 loss 이용하여 SPSA로 gradient 추정, parameter update

이 방법을 이용하면 random seed $s$만을 저장하고도 ZO를 구현할 수 있다.

코드는 다음과 같다.

# https://github.com/princeton-nlp/MeZO/blob/main/large_models/trainer.py#L757C1-L788C21
def zo_step(self, model, inputs):
    """
    Estimate gradient by MeZO. Return the loss from f(theta + z)
    """
    args = self.args

    # What parameters to optimize 
    self.named_parameters_to_optim = []
    for name, param in model.named_parameters():
        if param.requires_grad:
            self.named_parameters_to_optim.append((name, param))

    # Sample the random seed for sampling z
    self.zo_random_seed = np.random.randint(1000000000)

    # First function evaluation
    self.zo_perturb_parameters(scaling_factor=1)
    loss1 = self.zo_forward(model, inputs)

    # Second function evaluation
    self.zo_perturb_parameters(scaling_factor=-2)
    loss2 = self.zo_forward(model, inputs)

    self.projected_grad = ((loss1 - loss2) / (2 * self.args.zo_eps)).item()

    # No gradient accumulation support
    assert self.args.gradient_accumulation_steps == 1

    # Reset model back to its parameters at start of step
    self.zo_perturb_parameters(scaling_factor=1)
    
    return loss1


# https://github.com/princeton-nlp/MeZO/blob/main/large_models/trainer.py#L699C1-L712C76
def zo_perturb_parameters(self, random_seed=None, scaling_factor=1):
    """
    Perturb the parameters with random vector z.
    Input: 
    - random_seed: random seed for MeZO in-place perturbation (if it's None, we will use self.zo_random_seed)
    - scaling_factor: theta = theta + scaling_factor * z * eps
    """

    # Set the random seed to ensure that we sample the same z for perturbation/update
    torch.manual_seed(random_seed if random_seed is not None else self.zo_random_seed)
    
    for name, param in self.named_parameters_to_optim:
        z = torch.normal(mean=0, std=1, size=param.data.size(), device=param.data.device, dtype=param.data.dtype)
        param.data = param.data + scaling_factor * z * self.args.zo_eps

3. Results

MeZO는 prompt-based fine-tuning 방식에서만 잘 작동한다. Prompt는 Making pre-trained Language Models Better Few-shot Learners의 방법을 차용하였다.

Medium-sized masked LMs (RoBERTa-large, 350M), large autoregressive LMs (OPT-13B, 30B, 66B)에 대해 실험을 진행했다.

[RoBERTa]

[OPT]

Fine-Tuning의 1/12 메모리, 절반의 시간만 사용하고도 1% 내의 성능을 낸다. (OPT-13B 모델)

더 큰 모델에서도 잘 동작하는데, Zero-shot과 ICL보다 훨씬 상회하는 성능을 보이는것을 알 수 있다. (FT 결과가 없는것은 큰 모델에선 FT보다 성능이 많이 떨어져서일까?)

[시간 효율성과 메모리 효율성]

[Non-differentiable objectives]

Non-differentiable objective (accuracy, F1 score 등)에 대해서도 optimize할 수 있다. 따라서, human preference 등을 이용한 parameter update도 기대할 수 있다.

[딥러닝 논문리뷰] AIM: Scalable Pre-training of Large Autoregressive Image Models (Apple, 2024)

복만 — Sun, 21 Jan 2024 23:03:44 +0900

Apple에서 2024년 1월 large pretrained image model인 AIM(Autoregressive Image Models)을 발표했다. 코드와 model weight이 Github에 공개되어 있다.

논문 링크: https://arxiv.org/pdf/2401.08541.pdf

GitHub: https://github.com/apple/ml-aim/tree/main

AIM은 LLM에 영감을 받아 만들어진 대규모 vision 모델이다. BEiT (2021), Masked autoencoder(MAE) (2021) 등이 masked language modeling (MLM)을 통해 사전학습 시킨 것과 다르게, 주어진 패치로 다음 패치를 예측하는 autoregressive object를 이용하여 사전학습을 진행했다.

AIM의 주요 contribution은 vision 모델도 LLM과 유사한 scaling property를 보일 수 있다는 것을 증명했다는 점이다. DINOv2 (2023) 에서는 142M장의 이미지로 460M 모델을 학습시켰지만, vision 모델은 LLM에서의 scaling law를 따르지 않는다고 주장했고, MAE에서도 비슷하게 얘기했다. 그러나 AIM은 2B장 이미지에 대해 7B 모델을 autoregressive objective로 성공적으로 학습시켰으며, 이 정도의 규모에서도 saturation이 일어나지 않는다는 점을 토대로 large-scale vision model의 새로운 지평을 열 가능성을 확인했다.

Related works

본 연구에서는 iGPT (2020) 에서 사용한 autoregressive objective를 사전학습에 사용했다. 또다른 pretrained vision model인 BEiT, MAE 등은 BERT에 영감을 받은 MLM방식을 사용했다. Contrastive method들도 라벨 없이 사전학습한다는 점에서 유사하다고 볼 수 있다. 이들은 작은 모델 사이즈에서는 좋은 성능을 내지만 scaling에는 어려움이 있다.

Method

Dataset

DFN dataset에서 2B장 이미지를 추출하고 여기에 ImageNet을 섞어서 사용했다.

Objective

이미지를 K개의 패치로 overlap 없이 자르고, next patch prediction을 한다.

$\sum_x \sum_k -\log P(x_k|x_{<k})$

MAE와 유사하게, normalized pixel-level regression loss를 사용한다.

$\min_\theta \frac1K\sum_{k=1}^K||\hat x _k (\theta)-x_k||_2^2$

Architecture

기본적으로 ViT 구조를 사용했다. 상세한 파라미터는 다음과 같다.

이전 sequence의 패치만 이용해 attention을 수행하도록 하는 causal mask를 적용했다. 그러나 downstream task에서는 bidirectional self-attention을 수행해야 하기 때문에 이러한 방식은 성능을 떨어트린다.

이를 해결하고자 “prefix transformer”를 도입했다. 처음 S개의 패치가 "prefix"에 해당한다. 이들은 나머지 패치를 예측하기 위한 context로 사용되고, 이들은 autoregression prediction에서 제외된다.

Downstream tasks

Downstream task에 대해 평가할때는 backbone은 모두 freeze하고 classification head만 train했다. Large model 이니만큼 전체를 다시 finetuning 해서 쓰는것은 너무 낭비이다.

그러나 pretrain task에서는 패치단위 prediction만 했기 때문에 이미지 단위 token이 없었다. Classification 등의 이미지 단위 prediction을 위해서는 패치 feature들에 global average pooling을 할 수도 있지만, attention pooling operation을 통해 global descriptor 계산하는 로직을 추가했다.

Results

Impact of scaling

Pretrain loss와 classification accuracy간의 상관관계를 확인할 수 있다. Pretrain loss가 줄어들수록 downstream task의 성능이 높아지는 것을 통해 pretrain objective를 잘 설정했다고 볼 수 있다. 또한 모델 사이즈를 키울수록 성능이 좋아지는 것을 확인할 수 있다. 이는 LLM에서의 양상과 유사하다.

Ablations

Method에서 설명한 다양한 구조에 대한 ablation. 참고로 autoregression pattern은 패치를 어떤 순서로 넣어줄 것인가에 대한 내용인데, 일반적으로 생각하는 가로-세로 순서가 가장 좋았다고 한다.

Pretrain objective

MLM 방식과도 비교를 진행했다. MLM보다 autoregressive가 좋다고 한다.

Comparison with other pretrained models

다른 pretrained 모델들과의 비교이다. DINOv2를 제외하고 AIM이 모두 이겼는데, DINOv2는 더 높은 해상도 이미지를 이용했다고 한다. 그리고 DINOv2는 여러가지 자질구레한 학습 트릭들에 크게 의존하고 있는데, AIM은 학습 방법이 매우 간단하다고 한다 (...)

근데 AIM을 제외하고 2등인 iBOT과 비교해봐도 iBOT의 파라미터 수는 300M개정도이다. AIM-0.6B의 절반 정도인데도 훨씬 더 좋은 성능을 보인다. 아마 표에 파라미터 갯수를 안 적어놓은 것은 이런 불리함 때문 아니었을까..

후기

이전 pretrain vision 모델들은 MLM을 주로 사용하곤 했는데 본 논문에서는 2020년 iGPT에서 사용한 autoregressive task를 이용해 모델을 학습시켰다. vision 모델에서도 LLM처럼 모델 사이즈가 커질수록 성능이 증가하는 scaling law가 작용할 수 있음을 보였다.

그러나 몇가지 의문점은 ..

마지막 result에서 보듯이 파라미터 수가 엄청나게 큰것 치고 성능이 압도적으로 좋은건 아님
학습 장비와 학습에 소요된 시간을 안적어놓음. 그리고 깃헙에 학습 코드와 loss 코드가 없다.
파라미터 수를 2B까지 키워도 성능이 saturation 되지 않았다고 하는데, 그러면 DINOv2를 이길때까지 한번더 scaling을 안한 이유는..?

한국어 오픈소스 멀티모달 모델 모음 (image-text)

복만 — Sat, 13 Jan 2024 20:59:52 +0900

혹은 awesome-korean-multimodal 같은것

사실 한국어 LLM도 많이 없거니와, 오픈소스로 공개된 한국어 멀티모달 LLM(MLLM)은 정말 얼마 안되는듯 하다.

(참고: 한국어 LLM 모델 모음 - awesome-korean-llm)

GitHub - NomaDamas/awesome-korean-llm: Awesome list of Korean Large Language Models.

Awesome list of Korean Large Language Models. Contribute to NomaDamas/awesome-korean-llm development by creating an account on GitHub.

github.com

한국어 multimodal llm 뿐만 아니라 multimodal embedding 모델을 함께 정리해보았다.

정확히 말하면 멀티모달 중 image-text (vision-language) 모델들만 정리했다.

여기에 없는 모델이나 새로운 모델이 있으면 댓글로 알려주세요

Multimodal LLM (MLLM)
- tabtoyou/KoLLaVA
- etri-vilab/Ko-LLaVA
Vision-Language Pretraining (VLP) - Multimodal embedding
- jaketae/KoCLIP
- Bingsu/clip-vit-large-patch-ko
- SeanForHim/KoBEiT3

Multimodal LLM

tabtoyou/KoLLaVA

GitHub - tabtoyou/KoLLaVA: KoLLaVA: Korean Large Language-and-Vision Assistant (feat.LLaVA)

KoLLaVA: Korean Large Language-and-Vision Assistant (feat.LLaVA) - GitHub - tabtoyou/KoLLaVA: KoLLaVA: Korean Large Language-and-Vision Assistant (feat.LLaVA)

github.com

GitHub
만든사람: Jeonghyeon, Seongyeon, Seonghwan, Seungwoo, Seonghun, Taebaek
v1:
- backbone: CLIP(ViT)+KoVicuna(7B)
- dataset:
  - KoLLaVA-CC3M-Pretrain-595K: pretrain
  - KoLLaVA_Instruct-150k: instruction tuning
- license: Apache License 2.0
v1.5:
- backbone: CLIP(ViT)+Synatra(7B)
- dataset:
  - KoLLaVA-CC3M-Pretrain-595K: pretrain
  - KoLLaVA-Instrurct-581k: instruction tuning
- license: cc-by-sa-4.0 (non-commercial)
Training: (1) Frozen image encoder / text encoder을 연결하는 projection layer을 학습하는 pretrain stage와, (2) instruction tuning을 하는 fine-tuning stage로 나누어 두단계로 학습

etri-vilab/Ko-LLaVA

Ko-LLaVA - a Hugging Face Space by etri-vilab

huggingface.co

Demo
만든사람: ETRI 시각지능연구실
backbone: LLama(13b)
space만 공개되고 모델 weight이나 데이터셋은 공개된게 없다. 몇가지 테스트해봤을 때 위의 KoLLaVA보다 성능이 많이 떨어지는 것 같다.
예시)

부록) LLaVA와 비교

LLaVA도 한국어를 어느정도 할 수 있다. (demo)

"in Korean" 키워드는 잘 안되는것 같고, 한국어로 물었을 때 영어로 대답하는 단점이 있다.

의외로 영어로 질문한 다음 답변을 한국어로 바꿔달라고 하면 괜찮다.

VLP

jaketae/KoCLIP

GitHub - jaketae/koclip: KoCLIP: Korean port of OpenAI CLIP, in Flax

KoCLIP: Korean port of OpenAI CLIP, in Flax. Contribute to jaketae/koclip development by creating an account on GitHub.

github.com

GitHub
만든사람: GUIJIN SON, Hansol Park, Jake Tae, Trent Oh
backbone: klue/roberta-large + CLIP(ViT)
dataset: MSCOCO AIHub 한국어 번역 데이터
license: Apache License 2.0

Bingsu/clip-vit-large-patch14-ko

Bingsu/clip-vit-large-patch14-ko · Hugging Face

clip-vit-large-patch14-ko Korean CLIP model trained by Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation로 학습된 한국어 CLIP 모델입

huggingface.co

HuggingFace
backbone: CLIP(ViT)
dataset: AIHUB에 있는 모든 한국어-영어 병렬 데이터
license: MIT
training:
- Knowledge distillation 이용 (영어로 text encoder을 teacher model로 하고, 한국어 text encoder을 student model로 해서 학습시키는 방법이다 - Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation)
- training code

SeanForHim/KoBEiT3

SeanForHim/KoBEiT3 · Hugging Face

huggingface.co

HuggingFace
GitHub
backbone: BEiT3-large
- tokenizer: korean sentencepiece tokenizer trained on kor wikipedia
dataset: AIHUB 시각정보 기반 질의응답
license: 기재 안되어 있으나 BEiT3은 Microsoft open source code of conduct를 따름

Apple의 Multimodal LLM Ferret 논문 리뷰

복만 — Sun, 7 Jan 2024 23:06:10 +0900

Apple에서 2023년 10월 내놓은 Multimodal LLM인 Ferret의 논문이다. 모델 크기는 7B, 13B 두가지이며 Github에 코드와 checkpoint가 공개되어 있고, 비상업적 용도로 사용가능하다.

논문 링크: https://arxiv.org/pdf/2310.07704.pdf

Github: https://github.com/apple/ml-ferret

GitHub - apple/ml-ferret

Contribute to apple/ml-ferret development by creating an account on GitHub.

github.com

Introduction

Vision-language learning 모델의 주요한 두 capability는 referring과 grounding이다.

Referring: 이미지에서 주어진 영역에 대한 이해도 (location-in text-out)
Grounding: 텍스트에서 설명하는 영역을 이미지에서 찾아내는 능력 (text-in location-out)

이전 연구들에서는 referring과 grounding을 별개의 task로 두고 각각 학습하고자 했다.

Ferret에서는 두 task에서 얻을 수 있는 상호보완성을 기대하여 두 task를 통합하여 학습하는 MLLM (Multimodal Large Language Model)을 만들고자 했다.

본 연구의 contribution은 다음과 같다.

Ferret은 free-formed region input을 처리할 수 있는 최초의 MLLM이다.
Ferret 학습을 위해 만든 데이터셋 GRIT: Ground-and-Refer Instruction Tuning dataset
Ferret-Bench 개발: Ferret이 기존 best MLLM보다 평균적으로 20.4% 우세

논문에 GRIT과 Ferret-Bench에 대한 설명도 있지만 본 글에서는 스킵하고 Ferret 구조를 중심으로 정리하고자 한다.

Related work

다양한 MLLM 연구들을 나열하고 있다. 간단히 정리만 하고 넘어가면..

MLLMs

image-text pre-training 모델: SimVLM, GIT, PaLI, PaLI-X, BLIP-2, Flamingo (최초로 pretrained CLIP과 LLM을 결합), PALM-E, CM3, CM3Leon
LLM 활용: LLaVA, MultiGPT-4, mPLUG-Owl, Otter, InstructBLIP
Image generation: FROMAGe, GILL, Emu
참고: Multimodal Foundation Models: From Specialists to General-Purpose Assistants (2023.10)

MLLMs for referring and grounding

Kosmos-2, Shikra, GPT4ROI, PIVT, BuboGPT, VisionLLM, ContextDET
Ferret과의 가장 큰 차이점은, 이들은 input 형태로 bounding box만을 지원한다는 점이다.

Unifying grounding and VL understanding

UniTAB, OFA, Unified-IO, Pix2Seq

Methods

Hybrid Region Representation

이미지의 특정 영역은 세가지 형식으로 표현될 수 있다.

point: [x, y]
box: [xmin, ymin, xmax, ymax]
free-form

서로 다른 세 종류의 영역을 일반화하여 표현하기 위해 visual sampler을 이용하여 hybrid region representation을 생성해 사용한다. Hybrid region representation은 coordinate + continuous visual feature로 구성된다. (Visual sampler은 다음 section에서 후술)

Continuous visual feature: 영역을 2D binary mask로 변환한 다음 (segmentation mask처럼), image encoder에서 뽑은 feature map과 함께 visual sampler에 input으로 넣어서 visual continuous feature을 뽑는다.

* Point의 경우 해당 point를 중심으로 하고 fixed radius를 가진 원을 영역으로 사용하여 visual feature를 뽑는다.

Final image input은 다음과 같이 된다.

point: {x, y, f}
box & free-form: {x_min, y_min, x_max, y_max, f}
- x_min, x_max: min/max x-axis coordinate

모델 구조

Ferret은 image encoder, visual sampler, LLM 세가지로 구성된다. 사실상 핵심 구조는 Visual sampler이다. 본 논문에서 주요 contribution으로 내세운 것도 free-form input region이고, image encoder과 LLM은 기존 모델들을 사용했다.

Image encoder: CLIP-ViT-L/14
Visual sampler:
- binary region mask M에서 random하게 512개의 point를 추출한다.
- bilinear interpolation을 이용해 각 point의 feature을 추출한다.
- 512개의 point들을 sampling, gathering, pooling 세 단계로 구성된 block들에 통과시킨다. (2회 반복)
  - Sampling: N/4개의 point를 farthest point sampling (FPS) 알고리즘으로 추출한다.
  - Gathering: 각 point x_i에 대해서 처음 N개의 point들을 대상으로 k-NN을 수행해 가장 가까운 k개의 point를 찾고, 그렇게 찾은 각 point들과 x_i의 feature들을 합쳐준다. 각 N/4개의 point들에 k개의 feature들이 남게 된다.
  - Pooling: 각 point들의 k개의 feature을 max pooling을 통해 하나로 합쳐준다.
  - 이러한 과정을 통해 N개의 point들이 N/4개의 dense한 point들이 되어 남게 된다.
- 마지막으로 나온 32개의 point의 feature들을 flatten하여 LLM embedding으로 사용한다.
LLM:
- Vicuna (LLaMA + instruction tuning)
- Grounding을 위해서, output에서 이미지의 영역은 box coordinate로 나타난다.
- Image embedding은 linear layer로 한번 projection 한다음에 input으로 들어간다.

Experiments

Training details

앞에서 언급한 바와 같이 image encoder로는 CLIP-ViT-L/14@336p, LLM으로는 Vicuna를 사용했다. Projection layer로는 LLaVA의 first-stage weight을 사용했으며, visual sampler은 random initialization을 사용했다.

GRIT dataset을 이용해 3 epoch 학습시켰으며 Loshchilov & Hutter optimization (lr=2e-5) 을 사용했다.

Batch size 128로, A100 GPU 8대에서 13B모델은 5일, 7B모델은 2.5일동안 학습했다.

Results

결과는 예시만 간단히 첨부했다. 자세한 성능 수치는 논문을 참고..

Ferret-Bench

Ferret-Bench에서는 당연히 Ferret이 가장 잘하고, 모델 크기가 클수록 성능이 좋다.

LLaVA-Bench에서도 좋은 성능을 보인다.

Ferret vs GPT-4V

용감하게 GPT에게도 도전장을 내밀었다.

논문의 표현을 빌리자면, Ferret은 정밀한 bounding box가 요구되는 상황에서 특히 빛을 발한다고 한다.

[Optuna] 딥러닝 하이퍼파라미터 최적화하기

복만 — Sun, 10 Dec 2023 14:17:52 +0900

Optuna는 파이썬 기반의 하이퍼파라미터 최적화 (hyperparameter optimization) 프레임워크로, 심플하고 유연한 API를 제공한다. 본 글에서는 Optuna의 주요 기능과 사용방법을 간단히 소개하고자 한다.

공식 Docs: https://optuna.readthedocs.io/en/stable/index.html

Optuna: A hyperparameter optimization framework — Optuna 3.4.0 documentation

optuna.readthedocs.io

Basic concepts

Optuna는 study와 trial을 다음과 같이 정의한다.

Study: objective 함수에 기반하여 optimization을 수행하는 하나의 프로젝트
Trial: Study 내의 optimization 단일 수행

Hyperparameter optimization을 수행하기 위해 objective와 study를 정의하고, n_trials 파라미터를 조정하여 몇 회의 trial을 수행할지 설정할 수 있다.

다음과 같이 study를 정의할 수 있다. objective는 매 trial을 input으로 받는 함수이다.

import optuna

def objective(trial):
	...
    
    model.fit(train_x, train_y)
    
    error = get_error(model, valid_x, valid_y)
    
    return error
    
study = optuna.create_study()

study.optimize(objective, n_trials=100)

Search space와 Sampling algorithms

사용자가 탐색할 hyperparameter의 search space를 정의해주면, optuna는 그 안에서 hyperparmeter을 sampling하여 최적화를 진행한다.

Search space는 objective 안에서 설정할 수 있다. 다음은 다양한 search space를 정의하는 방법의 예시이다.

import optuna


def objective(trial):
    # Categorical parameter
    optimizer = trial.suggest_categorical("optimizer", ["MomentumSGD", "Adam"])

    # Integer parameter
    n_layers = trial.suggest_int("n_layers", 1, 3)

    # Loops
    layers = []
    for i in range(n_layers):
        n_units = trial.suggest_int("n_units_l{}".format(i), 4, 128, log=True)
        layers.append(nn.Linear(in_size, n_units))
        layers.append(nn.ReLU())
        in_size = n_units
    layers.append(nn.Linear(in_size, 10))

    # Integer parameter (discretized)
    num_units = trial.suggest_int("num_units", 10, 100, step=5)

    # Floating point parameter
    dropout_rate = trial.suggest_float("dropout_rate", 0.0, 1.0)

    # Floating point parameter (log)
    learning_rate = trial.suggest_float("learning_rate", 1e-5, 1e-2, log=True)

    # Floating point parameter (discretized)
    drop_path_rate = trial.suggest_float("drop_path_rate", 0.0, 1.0, step=0.1)

Categorial, int, float 등 다양한 형태의 hyperparameter을 지정해줄 수 있다. 더 많은 suggest_* 함수는 여기에서 확인할 수 있다.

search space에서 hyperparameter을 sampling하는 알고리즘 역시 사용자가 정의할 수 있는데, create_study를 할 때 sampler 인수에 넘겨주면 된다.

study = optuna.create_study(sampler=optuna.samplers.RandomSampler())
print(f"Sampler is {study.sampler.__class__.__name__}") #print

Optuna에서 사용가능한 sampler의 종류는 다음과 같다.

GridSampler
RandomSampler
TPESampler (default)
CmaEsSampler
PartialFixedSampler
NSGAIISampler
QMCSampler

각 sampler에 대한 자세한 설명은 여기에서 사용할 수 있다.

어떤 sampler을 사용하면 좋을지에 대한 힌트도 찾아볼 수 있다.

Pruning algorithms

Pruning은 학습 초기 단계에서 가능성이 낮아보이는 trial을 자동으로 중단하는 기능이다. "automated early-stopping"이라고 볼 수 있다.

Pruner의 종류는 다음과 같다.

MedianPruner
NopPruner
PatientPruner
PercentilePruner
SuccessiveHalvingPruner
HyperbandPruner
ThresholdPruner

전체 pruner의 종류와 자세한 설명은 여기에서 확인할 수 있다.

Pruner의 사용법은 다음과 같다.

training의 each step 직후에 report() 와 should_prune() 함수를 호출한다.
- report(): 중간 objective value를 주기적으로 모니터링한다.
- should_prune(): 사전에 정의된 조건을 충족하지 않는 trial의 조기 종료를 결정한다.

def objective(trial):
    ...

    for step in range(100):
        model.fit(train_x, train_y, classes=classes)

        # Report intermediate objective value.
        intermediate_error = get_error(valid_x, valid_y)
        trial.report(intermediate_error, step)

        # Handle pruning based on the intermediate value.
        if trial.should_prune():
            raise optuna.TrialPruned()

    return get_error(valid_x, valid_y)

# Add stream handler of stdout to show the messages
optuna.logging.get_logger("optuna").addHandler(logging.StreamHandler(sys.stdout))
study = optuna.create_study(pruner=optuna.pruners.MedianPruner())
study.optimize(objective, n_trials=20)

#out
A new study created in memory with name: no-name-e9380357-f153-4409-b874-c302ee358494
Trial 0 finished with value: 0.2894736842105263 and parameters: {'alpha': 0.07567537350404895}. Best is trial 0 with value: 0.2894736842105263.
Trial 1 finished with value: 0.02631578947368418 and parameters: {'alpha': 1.0132167782206652e-05}. Best is trial 1 with value: 0.02631578947368418.
Trial 2 finished with value: 0.02631578947368418 and parameters: {'alpha': 0.011064776558365616}. Best is trial 1 with value: 0.02631578947368418.
Trial 3 finished with value: 0.3157894736842105 and parameters: {'alpha': 3.096403335234504e-05}. Best is trial 1 with value: 0.02631578947368418.
Trial 4 finished with value: 0.07894736842105265 and parameters: {'alpha': 0.027787238399605656}. Best is trial 1 with value: 0.02631578947368418.
Trial 5 pruned.
Trial 6 pruned.
Trial 7 pruned.
Trial 8 pruned.
Trial 9 pruned.
Trial 10 pruned.
Trial 11 pruned.
Trial 12 pruned.
Trial 13 finished with value: 0.02631578947368418 and parameters: {'alpha': 0.0005226670470560228}. Best is trial 1 with value: 0.02631578947368418.
Trial 14 pruned.
Trial 15 pruned.
Trial 16 pruned.
Trial 17 pruned.
Trial 18 pruned.
Trial 19 pruned.

Docs에서는 다음의 sampler-pruner 조합을 추천하고 있다.

RandomSampler 사용 시 MedianPruner 사용
TPESampler 사용 시 HyperbandPruner 사용

Visualization

optuna의 최적화 결과에 대한 시각화를 도와주는 optuna-dashboard라는 툴이 있다.

GitHub - optuna/optuna-dashboard: Real-time Web Dashboard for Optuna.

Real-time Web Dashboard for Optuna. Contribute to optuna/optuna-dashboard development by creating an account on GitHub.

github.com

사용법은 다음과 같다.

import optuna

if __name__ == "__main__":
    study_name = "quadratic-simple"
    study = optuna.create_study(
        storage=f"sqlite:///{study_name}.db",  # Specify the storage URL here.
        study_name=study_name
    )
    study.optimize(objective, n_trials=100)
    print(f"Best value: {study.best_value} (params: {study.best_params})")

pip install optuna-dashboard
optuna-dashboard sqlite:///quadratic-simple.db

logging

파일에 trial의 기록을 남기려면 다음과 같이 logging 옵션을 설정하여 할 수 있다.

optuna.logging.enable_propagation — Optuna 3.4.0 documentation

optuna.readthedocs.io

import optuna
import logging

logger = logging.getLogger()

logger.setLevel(logging.INFO)  # Setup the root logger.
logger.addHandler(logging.FileHandler("foo.log", mode="w"))

optuna.logging.enable_propagation()  # Propagate logs to the root logger.
optuna.logging.disable_default_handler()  # Stop showing logs in sys.stderr.

study = optuna.create_study()

logger.info("Start optimization.")
study.optimize(objective, n_trials=10)

with open("foo.log") as f:
    assert f.readline().startswith("A new study created")
    assert f.readline() == "Start optimization.\n"

Examples

Optuna는 다양한 딥러닝 프레임워크들과 유연하게 결합하여 사용할 수 있는데, 예제들은 다음 링크에서 확인할 수 있다.

FAQ

공식 docs의 FAQ 중 유용한 몇가지를 소개한다.

FAQ — Optuna 3.4.0 documentation

When you want to suggest $n$ variables which represent the proportion, that is, $p[0], p[1], ..., p[n-1]$ which satisfy $0 \le p[k] \le 1$ for any $k$ and $p[0] + p[1] + ... + p[n-1] = 1$, try the below. For example, these variables can be used a

optuna.readthedocs.io

How to define objective functions that have own arguments?

How to avoid OOM when optimizing studies?

[PyTorch] Autograd 작동방식 알아보기

복만 — Sat, 2 Dec 2023 23:20:20 +0900

위 동영상에서 PyTorch Autograd를 이해하기 쉽게 설명해주고 있다. 다음은 위 동영상을 간단히 정리한 글이다.

1. torch.Tensor

각 tensor은 다음의 attr을 갖는다

data: tensor의 값
grad: tensor의 gradient 값. is_leaf인 경우에만 gradient가 자동으로 저장된다.
grad_fn: gradient function. 해당 tensor가 어떤 연산을 통해 forward되었는지에 따라 결정된다.
- ex) a * b = c 인 경우 c의 grad_fn은 MulBackward이다.
- is_leaf인 경우 None
is_leaf: (backward 기준) 가장 마지막 tensor인지
requires_grad: 계산 그래프의 일부로 들어갈 것인지

2. grad_fn

grad_fn은 다음의 attr을 갖는다.

saved_tensors: forward 연산으로부터 받음
- 계산그래프에 포함되지 않은 in_place 연산 등으로 인해 tensor 값이 변경되는 경우를 대비하여 계산 당시의 tensor 값을 context 변수에 저장해 놓는다.
- 만약 "Add"처럼 이전 tensor 값이 필요하지 않은 연산의 경우 context 변수가 값을 저장해 두지 않아도 된다.
next_functions: 다음 tuple로 구성된 list
- backward기준으로 다음 tensor의 grad_fn
  - is_leaf이고 requires_grad일 경우 AcummulateGrad - 계산된 gradient를 self.grad에 저장
  - is_leaf이고 requires_grad가 아닐 경우 None
- grad_fn의 몇번째 input으로 전달될 것인지
  - 보통은 grad_fn이 하나의 input만 받지만 forward 연산의 output이 여러개인 경우 grad_fn이 여러개의 input을 받을 수 있다

3. backward()

tensor의 backward() 연산이 호출되면 해당 tensor은 gradient 1로 시작한다. 이 값이 grad_fn을 타고 흘러간다.

이전 tensor의 gradient가 MulBackward로 전달
- 1 → MulBackward
다음 tensor의 gradient를 계산하여 next_function으로 전달
- 다음 tensor의 gradient = 현재 연산에서의 gradient x 이전 tensor의 gradient (chain rule)
- 4 → Mulbackward
- 6 → AccumulateGrad
AccumulateGrad 함수는 해당 tensor의 grad에 gradient 저장

gradient는 is_leaf인 경우에만 저장된다. leaf가 아닌 tensor의 gradient는 저장되지 않고 grad_fn을 따라 전달되기만 한다.

그러나 intermediate tensor에도 gradient를 저장하고 싶다면 tensor.retain_grad() 메소드를 사용하면 된다.

IBOK

[딥러닝 논문리뷰] Depth Anything V2 (NeurIPS 2024)

Related works

Method

Results

느낀점

Ubuntu 22.04에 nvidia driver, cuda, cuDNN, torch 설치하기 (2024 ver)

목차

0. ubuntu 버전 확인

1. nvidia driver 설치

2. cuda 설치

3. cuDNN 설치

4. torch 설치

토스 개발자 컨퍼런스 SLASH24 시간표 공유

카카오브레인 Multimodal LLM Honeybee 논문 리뷰

1. 배경

2. Honeybee

3. 학습방법

4. 실험결과

[딥러닝 논문리뷰] MeZO: Fine-Tuning Language Models with Just Forward Passes (NeurIPS 2023)

1. Introduction

2. Method

3. Results

[딥러닝 논문리뷰] AIM: Scalable Pre-training of Large Autoregressive Image Models (Apple, 2024)

Related works

Method

Results

후기

한국어 오픈소스 멀티모달 모델 모음 (image-text)

Multimodal LLM

VLP

Apple의 Multimodal LLM Ferret 논문 리뷰

Introduction

Related work

Methods

Experiments

[Optuna] 딥러닝 하이퍼파라미터 최적화하기

Basic concepts

Search space와 Sampling algorithms

Pruning algorithms

Visualization

logging

Examples

FAQ

How to define objective functions that have own arguments?

How to avoid OOM when optimizing studies?

[PyTorch] Autograd 작동방식 알아보기

1. torch.Tensor

2. grad_fn

3. backward()