[PyTorch/Tensorflow v1, v2] Gradient Clipping 추가하기

Gradient clipping은 너무 크거나 작은 gradient의 값을 제한하여 vanishing gradient나 exploding gradient 현상을 방지하는 방법이다.

 

특히 RNN에서 자주 발생하는 현상인데 이외에도 깊은 네트워크에서 유용하게 사용될 수 있는 방법이다.

중간에 loss가 너무 뛰면서 weight update가 이상한 방향으로 진행된다면 사용해볼 수 있다.

 

아래 글을 참고하였다.

 

https://neptune.ai/blog/understanding-gradient-clipping-and-how-it-can-fix-exploding-gradients-problem

Understanding Gradient Clipping (and How It Can Fix Exploding Gradients Problem) - neptune.ai

 

 

Gradient clip by value, by norm

Gradient clipping을 할 수 있는 방법은 두 가지가 있다.

 

첫 번째로, Clipping-by-value는 단순히 모든 gradient를 (min_threshold, max_threshold) 범위로 clipping하는 것이다.

 

또다른 방법인 Clipping-by-norm은 norm이 threshold 이상일 경우, threshold에 gradient의 unit vector를 곱한 값으로 바꿔 주는 것이다. 즉 다음과 같다.

 

$g\leftarrow \text{threshold} * g / ||g||$        if $||g|| \geq \text{threshold}$

 

아래에서 Tensorflow와 PyTorch를 이용해 이 두 가지 gradient clipping을 구현하는 방법을 소개한다. 전체 코드는 위 링크에서 확인할 수 있다. 본 글에서는 gradient clipping 부분의 코드만 요약해 두었다.

 

 

Tensorflow (v1)

tf.clip_by_value를 이용한다.

optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
gvs = optimizer.compute_gradients(loss)
capped_gvs = [(tf.clip_by_value(grad, -1., 1.), var) for grad, var in gvs] #min_value와 max_value를 설정할 수 있다.
train_op = optimizer.apply_gradients(capped_gvs)

 

Clipping_by_norm은 line 3을 다음과 같이 바꿔주면 된다.

gradients = [(tf.clip_by_norm(grad, clip_norm=2.0)) for grad in gradients]

 

 

Tensorflow (v2)

v1과 동일하다.

with tf.GradientTape() as tape:
	predictions= model(inputs, training=True)
    loss = get_loss(targets, predictions)

gradients = tape.gradient(loss, model.trainable_variables)
gradients = [(tf.clip_by_value(grad, -1.0, 1.0)) for grad in gradients]
optimizer.apply_gradients(zip(gradients, model.trainable_variables))

 

Clipping_by_norm역시 v1과 동일하다.

gradients = [(tf.clip_by_norm(grad, clip_norm=2.0)) for grad in gradients]

 

 

PyTorch

nn.utils.clip_grad_value_를 이용한다. PyTorch의 경우 (-clip_value, clip_value)의 범위로 gradient를 clip해준다.

optimizer.zero_grad()
loss.backward()
nn.utils.clip_grad_value_(model.parameters(), clip_value=1.0)
optimizer.step()

 

Clipping_by_norm은 line 3을 다음과 같이 바꿔주면 된다.

nn.utils.clip_grad_norm_(model.parameters(), max_norm=2.0, norm_type=2)