IBOK

논문: https://arxiv.org/pdf/2406.09414블로그: https://depth-anything-v2.github.io/코드: https://github.com/DepthAnything/Depth-Anything-V2   Monocular depth estimatino (MDE) 관련 논문Depth Anything의 후속 논문이고 다양한 크기의 모델와 벤치마크 데이터셋을 함께 공개Synthetic dataset을 활용하여 정확도를 높이고, student teacher 모델 구조를 이용하여 효율성을 높였다.Stable diffusion 최신 모델들에 비해 10배이상 빠르고 정확함  Related worksMonocular depth estimation (MDE)는 3D reconstruc..

서버 세팅은 항상 힘들다.. 목차 0. ubuntu 버전 확인1. nvidia driver 설치2. cuda 설치3. cuDNN 설치4. torch 설치  0. ubuntu 버전 확인일단 사용중인 ubuntu의 버전을 확인해준다.lsb_release -a  1. nvidia driver 설치1-1. 외부저장소 추가 nvidia driver을 포함하는 외부저장소(PPA)를 추가하고 해당 내용을 패키지 리스트에 업데이트해준다.sudo add-apt-repository ppa:graphics-drivers/ppasudo apt update  1-2. 설치 가능한 드라이버 목록 확인 ubuntu-drivers를 이용해 설치 가능한 nvidia driver 목록을 확인한다.ubuntu-drivers devices..

담다 보니 데이터 트랙으로 다 담았다.스페셜 세션에도 듣고 싶은 것들이 몇가지 있었는데 겹치는 데이터 트랙 세션들이 꼭 듣고 싶은 것들이라..추첨으로 초청권을 준다는데 꼭 당첨됐으면 ~~

카카오브레인에서 작년 말 Multimodal LLM인 Honeybee를 발표했다. 아쉽게도 한국어 모델은 아니고 영어 모델이고, 5개의 벤치마크에서 SoTA를 달성했다고 해서 뉴스가 엄청 많이 나왔다. 논문: https://arxiv.org/pdf/2312.06742.pdf 깃헙: https://github.com/kakaobrain/honeybee GitHub - kakaobrain/honeybee: The official implementation of project "Honeybee" The official implementation of project "Honeybee". Contribute to kakaobrain/honeybee development by creating an account o..

논문 링크: https://arxiv.org/pdf/2305.17333.pdf 발표 영상: https://neurips.cc/virtual/2023/poster/71437 코드: https://github.com/princeton-nlp/MeZO NeurIPS 2023 Abstract: Fine-tuning language models (LMs) has yielded success on diverse downstream tasks, but as LMs grow in size, backpropagation requires a prohibitively large amount of memory. Zeroth-order (ZO) methods can in principle estimate gradients us..

Apple에서 2024년 1월 large pretrained image model인 AIM(Autoregressive Image Models)을 발표했다. 코드와 model weight이 Github에 공개되어 있다. 논문 링크: https://arxiv.org/pdf/2401.08541.pdf GitHub: https://github.com/apple/ml-aim/tree/main AIM은 LLM에 영감을 받아 만들어진 대규모 vision 모델이다. BEiT (2021), Masked autoencoder(MAE) (2021) 등이 masked language modeling (MLM)을 통해 사전학습 시킨 것과 다르게, 주어진 패치로 다음 패치를 예측하는 autoregressive object를 이용..

혹은 awesome-korean-multimodal 같은것 사실 한국어 LLM도 많이 없거니와, 오픈소스로 공개된 한국어 멀티모달 LLM(MLLM)은 정말 얼마 안되는듯 하다. (참고: 한국어 LLM 모델 모음 - awesome-korean-llm) GitHub - NomaDamas/awesome-korean-llm: Awesome list of Korean Large Language Models. Awesome list of Korean Large Language Models. Contribute to NomaDamas/awesome-korean-llm development by creating an account on GitHub. github.com 한국어 multimodal llm 뿐만 아니라 m..

Apple에서 2023년 10월 내놓은 Multimodal LLM인 Ferret의 논문이다. 모델 크기는 7B, 13B 두가지이며 Github에 코드와 checkpoint가 공개되어 있고, 비상업적 용도로 사용가능하다. 논문 링크: https://arxiv.org/pdf/2310.07704.pdf Github: https://github.com/apple/ml-ferret GitHub - apple/ml-ferret Contribute to apple/ml-ferret development by creating an account on GitHub. github.com Introduction Vision-language learning 모델의 주요한 두 capability는 referring과 groun..

Optuna는 파이썬 기반의 하이퍼파라미터 최적화 (hyperparameter optimization) 프레임워크로, 심플하고 유연한 API를 제공한다. 본 글에서는 Optuna의 주요 기능과 사용방법을 간단히 소개하고자 한다. 공식 Docs: https://optuna.readthedocs.io/en/stable/index.html Optuna: A hyperparameter optimization framework — Optuna 3.4.0 documentation © Copyright 2018, Optuna Contributors. Revision 4ea580fc. optuna.readthedocs.io Basic concepts Optuna는 study와 trial을 다음과 같이 정의한다. Stu..

위 동영상에서 PyTorch Autograd를 이해하기 쉽게 설명해주고 있다. 다음은 위 동영상을 간단히 정리한 글이다. 1. torch.Tensor 각 tensor은 다음의 attr을 갖는다 data: tensor의 값 grad: tensor의 gradient 값. is_leaf인 경우에만 gradient가 자동으로 저장된다. grad_fn: gradient function. 해당 tensor가 어떤 연산을 통해 forward되었는지에 따라 결정된다. ex) a * b = c 인 경우 c의 grad_fn은 MulBackward이다. is_leaf인 경우 None is_leaf: (backward 기준) 가장 마지막 tensor인지 requires_grad: 계산 그래프의 일부로 들어갈 것인지 2. gr..