IBOK

Bag of Tricks for Image Classification with Convolutional Neural Networks (He et al., CVPR 2019)에서 소개된 ResNet의 변형 모델들(tweaks)에 대한 PyTorch 코드이다. 논문에서는 두 개의 유명한 변형 모델인 ResNet-B, C를 소개하고, 새로운 구조인 ResNet-D를 제안하고 있다. ResNet 기본적인 ResNet의 구조는 Input stem과 4개의 stage, 그리고 마지막 output layer로 이루어져 있다. Input stem : 7x7 conv와 maxpool로 이루어져 있으며, channel dim을 64로 늘리고 input size를 4배 줄인다. Stage : 한 개의 downsampling..

HuggingFace의 Tokenizer을 사용하면 Token (Input) ID, Attention Mask를 포함한 BatchEncoding을 출력으로 받게 된다. 이 글에서는 이러한 HuggingFace의 Model input에 대해 정리해 보고자 한다. Tokenizer class에 대한 게시물은 여기에서 확인할 수 있다. 참고: Official Docs Glossary Fine-tune for downstream tasks huggingface.co Tokenizer HuggingFace의 Tokenizer을 다음과 같이 우선 정의한다. 본 예제에서는 BertTokenizer을 사용한다. from transformers import BertTokenizer tokenizer = BertToken..

Official Docs: https://huggingface.co/docs/transformers/v4.19.2/en/main_classes/tokenizer Tokenizer Returns List[int], torch.Tensor, tf.Tensor or np.ndarray The tokenized ids of the text. huggingface.co Github: https://github.com/huggingface/tokenizers Tokenizer은 모델에 들어갈 input을 준비하는 데에 필요하다. Hugging Face에서 제공하는 Tokenizer class를 통해 쉽게 이용할 수 있다. 기본이 되는 class들은 PreTrainedTokenizer와 PreTrainedTokeni..

PyTorch에서의 사용법 위주로 정리한 글 Quick tour Get up and running with 🤗 Transformers! Start using the pipeline() for rapid inference, and quickly load a pretrained model and tokenizer with an AutoClass to solve your text, vision or audio task. All code examples presented in the documentation have a huggingface.co HuggingFace의 가장 기본 기능인 pipeline()과 AutoClass를 소개한다. pipeline()은 빠른 inference를 위해 사용할 수 있고, Au..

정규표현식, 또는 정규식은 '특정한 규칙을 가진 문자열의 집합을 표현하는 데 사용하는 형식 언어' 이다. (위키백과) 긴 문자열에서 특정 패턴을 가진 부분을 찾아내는 데에 유용하게 사용될 수 있다. RegExr RegExr에서 정규표현식을 테스트해볼 수 있다. RegExr: Learn, Build, & Test RegEx RegExr is an online tool to learn, build, & test Regular Expressions (RegEx / RegExp). regexr.com [Expression] 부분에 표현식을 쓰면, [Text] 부분에 입력한 문자열에서 해당되는 부분을 표시해준다. 아래 [Tools] 부분에서 표현식의 각 부분을 설명해준다. 표현식에 마우스를 가져가면 각 부분이 어..

표 자동 생성기 Table generator https://www.tablesgenerator.com/# {\raggedright\let\newline\\\arraybackslash\hspace{0pt}}m{#1}} \newcolumntype{C}[1]{>{\centering\let\newline\\\arraybackslash\hspace{0pt}}m{#1}} \newcolumntype{R}[1]{>{\raggedleft\let\newline\\\arraybackslash\hspace{0pt}}m{#1}} \begin{table} \begin{tabular}{L{2cm} | C{1cm} | R{2cm}} \hline a1 & a2 & a3 \\ \hline\hline b1 & b2 & b3 \\ \hli..

PyTorch model의 weight값을 바로 바꾸려고 하면 FloatTensor을 parameter로 사용할 수 없다는 에러가 발생한다. import torch.nn as nn model = nn.Sequential(nn.Linear(10, 5), nn.ReLU(), nn.Linear(5, 4, bias=False)) model[2].weight = model[2].weight/2. >> cannot assign 'torch.FloatTensor' as parameter 'weight' (torch.nn.Parameter or None expected) 학습 도중 사용하는 weight normalization은 nn.utils.weight_norm을 사용하면 되는 것 같지만, 바로 weight 값에 ..

CBAM: Convolutional Block Attention Module은 ECCV 2018에서 발표된 channel&spatial attention module이다. 코드는 공식 github을 참고하여 조금 수정했다. Paper: https://arxiv.org/pdf/1807.06521.pdf Code: https://github.com/Jongchan/attention-module/ Author's blog: https://blog.lunit.io/2018/08/30/bam-and-cbam-self-attention-modules-for-cnn/ BAM CBAM은 BAM: Bottleneck Attention Module의 후속 논문이다. BAM은 모델의 bottleneck 부분에서 attent..

NeurIPS 2020에서 발표된 CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances 라는 논문이다. Out-of-distribution detection에 SimCLR을 토대로 한 contrastive learning을 적용하였다. 논문: https://arxiv.org/pdf/2007.08176.pdf 코드: https://github.com/alinlab/CSI Abstract Novelty detection이라고도 부르는 Out-of-distribution (OOD) detection은, 주어진 sample이 training distribution 내부의 것인지 (in-distribution), ..

출처: https://xgboost.readthedocs.io/en/stable/gpu/index.html XGBoost GPU Support — xgboost 1.5.2 documentation XGBoost GPU Support This page contains information about GPU algorithms supported in XGBoost. Note CUDA 10.0, Compute Capability 3.5 required The GPU algorithms in XGBoost require a graphics card with compute capability 3.5 or higher, with CUDA toolkits 10 xgboost.readthedocs.io CUDA 10...