IBOK

Tensorflow tutorial-Classify text with BERT를 번역 및 정리한 글. BERT를 이용한 예제가 대부분 Huggingface를 이용한 것인데, BERT를 공부하기에는 Huggingface를 쓰지 않고 Tensorflow나 PyTorch를 이용한 코드가 더 나을 거라고 생각해 찾다가 발견했다. 원글 링크: (한국어 번역이 잘 안되어 있음) BERT로 텍스트 분류 | Text | TensorFlow 이 페이지는 Cloud Translation API를 통해 번역되었습니다. Switch to English BERT로 텍스트 분류 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. 이 튜토리얼에는 일반 www.tensorflow.org Setup prep..

Gradient clipping은 너무 크거나 작은 gradient의 값을 제한하여 vanishing gradient나 exploding gradient 현상을 방지하는 방법이다. 특히 RNN에서 자주 발생하는 현상인데 이외에도 깊은 네트워크에서 유용하게 사용될 수 있는 방법이다. 중간에 loss가 너무 뛰면서 weight update가 이상한 방향으로 진행된다면 사용해볼 수 있다. 아래 글을 참고하였다. https://neptune.ai/blog/understanding-gradient-clipping-and-how-it-can-fix-exploding-gradients-problem Understanding Gradient Clipping (and How It Can Fix Exploding Grad..