[PyTorch] nn.Embedding 초기화하기 (initialization)

PyTorch의 nn.Embedding layer을 초기화하는 방법에는 두 가지가 있다.

embedding = nn.Embedding(num_embeddings, embedding_dim)

 

 

 

1. torch.tensor의 내장 method 이용하기

 

embedding.weight.data.uniform_(-1, 1)

 

torch.tensor은 uniform_ 등의 내장 method를 가지고 있어 이를 통해 값을 초기화할 수 있다.

 

 

 

2. torch.nn.init 이용하기

 

nn.init.uniform_(embedding.weight, -1.0, 1.0)

 

torch.nn.init의 method들을 이용할 수도 있다.

 

이 방법을 이용하면 uniform_ 이외에도 xavier_uniform_ 등 보다 다양한 initialization 방법들을 사용할 수 있다.

 

 

 

출처: https://stackoverflow.com/questions/55276504/different-methods-for-initializing-embedding-layer-weights-in-pytorch

Different methods for initializing embedding layer weights in Pytorch