Official Docs: https://huggingface.co/docs/transformers/v4.19.2/en/main_classes/tokenizer Tokenizer Returns List[int], torch.Tensor, tf.Tensor or np.ndarray The tokenized ids of the text. huggingface.co Github: https://github.com/huggingface/tokenizers Tokenizer์ ๋ชจ๋ธ์ ๋ค์ด๊ฐ input์ ์ค๋นํ๋ ๋ฐ์ ํ์ํ๋ค. Hugging Face์์ ์ ๊ณตํ๋ Tokenizer class๋ฅผ ํตํด ์ฝ๊ฒ ์ด์ฉํ ์ ์๋ค. ๊ธฐ๋ณธ์ด ๋๋ class๋ค์ PreTrainedTokenizer์ PreTrainedTokeni..
