IBOK

HuggingFace의 Tokenizer을 사용하면 Token (Input) ID, Attention Mask를 포함한 BatchEncoding을 출력으로 받게 된다. 이 글에서는 이러한 HuggingFace의 Model input에 대해 정리해 보고자 한다. Tokenizer class에 대한 게시물은 여기에서 확인할 수 있다. 참고: Official Docs Glossary Fine-tune for downstream tasks huggingface.co Tokenizer HuggingFace의 Tokenizer을 다음과 같이 우선 정의한다. 본 예제에서는 BertTokenizer을 사용한다. from transformers import BertTokenizer tokenizer = BertToken..

Official Docs: https://huggingface.co/docs/transformers/v4.19.2/en/main_classes/tokenizer Tokenizer Returns List[int], torch.Tensor, tf.Tensor or np.ndarray The tokenized ids of the text. huggingface.co Github: https://github.com/huggingface/tokenizers Tokenizer은 모델에 들어갈 input을 준비하는 데에 필요하다. Hugging Face에서 제공하는 Tokenizer class를 통해 쉽게 이용할 수 있다. 기본이 되는 class들은 PreTrainedTokenizer와 PreTrainedTokeni..

PyTorch에서의 사용법 위주로 정리한 글 Quick tour Get up and running with 🤗 Transformers! Start using the pipeline() for rapid inference, and quickly load a pretrained model and tokenizer with an AutoClass to solve your text, vision or audio task. All code examples presented in the documentation have a huggingface.co HuggingFace의 가장 기본 기능인 pipeline()과 AutoClass를 소개한다. pipeline()은 빠른 inference를 위해 사용할 수 있고, Au..

정규표현식, 또는 정규식은 '특정한 규칙을 가진 문자열의 집합을 표현하는 데 사용하는 형식 언어' 이다. (위키백과) 긴 문자열에서 특정 패턴을 가진 부분을 찾아내는 데에 유용하게 사용될 수 있다. RegExr RegExr에서 정규표현식을 테스트해볼 수 있다. RegExr: Learn, Build, & Test RegEx RegExr is an online tool to learn, build, & test Regular Expressions (RegEx / RegExp). regexr.com [Expression] 부분에 표현식을 쓰면, [Text] 부분에 입력한 문자열에서 해당되는 부분을 표시해준다. 아래 [Tools] 부분에서 표현식의 각 부분을 설명해준다. 표현식에 마우스를 가져가면 각 부분이 어..

표 자동 생성기 Table generator https://www.tablesgenerator.com/# {\raggedright\let\newline\\\arraybackslash\hspace{0pt}}m{#1}} \newcolumntype{C}[1]{>{\centering\let\newline\\\arraybackslash\hspace{0pt}}m{#1}} \newcolumntype{R}[1]{>{\raggedleft\let\newline\\\arraybackslash\hspace{0pt}}m{#1}} \begin{table} \begin{tabular}{L{2cm} | C{1cm} | R{2cm}} \hline a1 & a2 & a3 \\ \hline\hline b1 & b2 & b3 \\ \hli..

PyTorch model의 weight값을 바로 바꾸려고 하면 FloatTensor을 parameter로 사용할 수 없다는 에러가 발생한다. import torch.nn as nn model = nn.Sequential(nn.Linear(10, 5), nn.ReLU(), nn.Linear(5, 4, bias=False)) model[2].weight = model[2].weight/2. >> cannot assign 'torch.FloatTensor' as parameter 'weight' (torch.nn.Parameter or None expected) 학습 도중 사용하는 weight normalization은 nn.utils.weight_norm을 사용하면 되는 것 같지만, 바로 weight 값에 ..

CBAM: Convolutional Block Attention Module은 ECCV 2018에서 발표된 channel&spatial attention module이다. 코드는 공식 github을 참고하여 조금 수정했다. Paper: https://arxiv.org/pdf/1807.06521.pdf Code: https://github.com/Jongchan/attention-module/ Author's blog: https://blog.lunit.io/2018/08/30/bam-and-cbam-self-attention-modules-for-cnn/ BAM CBAM은 BAM: Bottleneck Attention Module의 후속 논문이다. BAM은 모델의 bottleneck 부분에서 attent..

NeurIPS 2020에서 발표된 CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances 라는 논문이다. Out-of-distribution detection에 SimCLR을 토대로 한 contrastive learning을 적용하였다. 논문: https://arxiv.org/pdf/2007.08176.pdf 코드: https://github.com/alinlab/CSI Abstract Novelty detection이라고도 부르는 Out-of-distribution (OOD) detection은, 주어진 sample이 training distribution 내부의 것인지 (in-distribution), ..

출처: https://xgboost.readthedocs.io/en/stable/gpu/index.html XGBoost GPU Support — xgboost 1.5.2 documentation XGBoost GPU Support This page contains information about GPU algorithms supported in XGBoost. Note CUDA 10.0, Compute Capability 3.5 required The GPU algorithms in XGBoost require a graphics card with compute capability 3.5 or higher, with CUDA toolkits 10 xgboost.readthedocs.io CUDA 10...

NeurIPS 2018에서 발표된 논문이다. 매우 간단한 toy set에서 standard convolution layer의 맹점을 보였으며, coordinate 정보를 extra channel에 포함시키는 매우 간단한 방식으로 convolution layer의 성능을 높일 수 있는 CoordConv를 제안하였다. Paper: https://proceedings.neurips.cc/paper/2018/file/60106888f8977b71e1f15db7bc9a88d1-Paper.pdf Code: https://github.com/uber-research/coordconv Abstract 본 논문에서는, convolution 구조가 잘 동작하지 않는 example인 coordinate transform p..