[딥러닝 논문리뷰] Loss Functions for Image Restoration with Neural Networks (IEEE TMI 2016)

2016년 IEEE TMI에 개제된 논문인 "Loss Functions for Image Restoration with Neural Networks"를 정리한 글이다.

Super-resolution, artifact removal, denoising 등 Image restoration task에서 쓰이는 Loss function에 대해 분석했고, Image restoration task에서 좋은 성능을 낼 수 있는 새로운, 미분가능한 loss function을 제안했다.

 

꽤 옛날 논문이지만, 읽기 쉽고 유명한 논문이라 정리해 보려고 한다.

 

 

 

1. Background

Image restoration

Image restoration이란, denoising, deblurring, demosaicking, super-resolution 등을 포함한다.

많은 연구들이 진행되어 왔지만, 이전까지의 연구는 전부 network의 구조를 tuning하는 데에 focus가 맞춰져 있었고, loss layer에는 큰 관심을 가지지 않았으며 전부 L2 loss를 사용했다. 현재는 대부분 L1 loss를 쓰는 것으로 알고 있는데, 이 논문 이후로 트렌드가 바뀐 것인진 모르겟다.

본 논문에서는 Loss function이 Image restoration task의 성능에 큰 영향을 끼침을 보인다. L2 loss가 아닌 다른 Loss function이 더 좋은 성능을 보이며, 심지어 L2 loss를 최소화하는데에도 다른 Loss function을 사용하는 것이 더 좋다고 한다.

 

Loss functions

현재 가장 널리 사용되는 loss function은 L2 loss이다.

그 이유는 L2 loss가 convex하고 differentiable 하다는 것 외에도, L2 loss가 i.i.d Gaussian noise에 대해 maximum likelihood 값을 제공한다는 점 때문이다.

또한, Caffe library의 경우, classification 외의 task에 대해서는 L2 loss만을 Loss layer로 제공한다고 한다. (지금은 아니겠지.. 찾아보기는 귀찮다)

 

그러나 인간이 인지하는 이미지의 퀄리티와 L2 loss 값과는 큰 연관성이 없다는 것이 잘 알려져 있다. L2 loss는 단지 각 pixel 값의 차이만을 볼 뿐이고, 이는 human visual system (HVS)가 동작하는 방식과 거리가 있기 때문이다.

 

이런 이유로 이미지의 퀄리티를 정량적으로 측정하기 위한 다양한 measurement들이 존재하는데, SSIM, MS-SSIM 등이 있다. 이들에 HVS의 속성들을 반영해 변형한 IW-SSIM (Information Weighted SSIM), FSIM (Feature Similarity Index) 등이 있으나, 미분이 불가능하고 수식이 지나치게 복잡해 optimization process에 쓰기는 적합하지 않다고 한다.

 

 

 

2. Experiments & Results

Loss layers for Image restoration

Image restoration task에 대해 다양한 Loss layer들을 바꿔가며 실험하면서, 성능 변화를 관찰했다.

 

L2 loss를 사용하면 결과 이미지에서 Splotcy artifacts, 즉 얼룩덜룩해지는 것을 확인할 수 있다. 이는 L2 loss는 큰 error을 중점적으로 penalize하고, 작은 error에는 tolerant하기 때문이다. 그러나 human visual system은 luminance와 color variation에 더 민감하다.

 

L2 Loss 외에 실험에 사용한 Loss function과 수식들은 다음과 같다. 수식에 대한 자세한 설명은 생략한다.

 

A. L1 Error : L1 loss는 L2 loss와 다르게, 큰 error을 over-penalize하지 않는다.

 

B. SSIM : 우리의 목표는 육안으로 봤을 때 더 그럴듯한 image를 만드는 것이기 때문에, 이를 정량적으로 나타내는 perceptual metric인 SSIM을 loss function으로 이용하면 목표에 부합할 것이라 예상해 볼 수 있다.

 

C. MS-SSIM : SSIM의 factor인 $\sigma_G$ 값에 따라 성능에 큰 차이가 난다. MS-SSIM은 SSIM의 multi-scale version으로, 다양한 sigma 값을 모두 사용하기 때문에 sigma 값의 fine-tuning을 하지 않아도 된다는 장점이 있다.

 

D. MS-SSIM + L1 (Mix) - Proposed method : SSIM과 MS-SSIM은 uniform bias에 sensitive하지 않다고 한다. 이는 brightness에 대한 변화나, 색감의 shift를 초래할 수 있는데, L1 loss를 함께 사용하면 이를 해결할 수 있다고 한다.

이때 $\alpha$는 hyperparameter로, 본 논문에서는 empirically하게 $\alpha=0.84$를 사용했다고 한다. 이 값에 대한 분석은 진행하지 않았으나, 값의 작은 변화는 성능에 큰 영향을 끼치지 않는다고 한다.

 

 

Experiments

다양한 종류의 Image restoration task에 대해 실험을 진행했다.

전체 결과와 figure, 실험 setting은 논문에서 확인할 수 있다.

 

A. Joint Denoising

- image에 noise를 추가한 후, 이를 없애는 task이다.

L2 loss를 사용한 경우 splotchy artifact를 확인할 수 있으며,

SSIM loss를 사용한 경우 edge 부분의 noise를 확인할 수 있다.

MS-SSIM loss의 경우 이러한 문제들은 해결되었지만 색감이 조금씩 차이나는 문제점이 있다.

MS-SSIM loss와 L1 loss를 함께 사용한 Mix loss가 가장 좋은 성능을 보였다.

 

B. Super-resolution

- image의 해상도를 높이는 task이다.

 

C. JPEG artifacts removal

- Denoising과 유사하나, JPEG compression으로 생성된 artifact를 없애는 task이다.

 

D. 정량적 평가

- 모든 실험과 metric에 대해 Mix loss가 가장 높은 성능을 보이는 것을 확인할 수 잇다.

 

 

 

3. Discussion

Convergence of the loss functions

- TABLE I을 보면, 각 모델의 성능을 평가할 때, L1, L2, PSNR, SSIM, MS-SSIM 등을 모두 포함해 다양한 metric을 사용했다.

- 한 가지 특이한 점은, L1 loss를 이용해 학습시킨 모델이 L2 loss를 이용한 모델보다도 L2 loss가 더 낮았다는 것이다.

- 이는 매우 의외라고 할 수 있다. L2 loss를 이용한 모델은 L2 loss를 낮추는 것만을 목적으로 학습된 것이기 때문이다.

- 저자들은 이 이유를, L2는 local minimum에 빠지기 더 쉬웠기 때문이라고 추측했다.

- 이를 증명하기 위해 다음의 실험을 진행했다.

• 두 모델을 학습시키는데, 하나는 L1 loss로 학습시키다가 L2 loss로 이어서 학습시킨다.
• 다른 하나의 모델은 반대로 L2 loss로 학습시키다가 L1 loss로 이어서 학습시킨다.
• 그 결과 L2 loss로 학습시키다가 L1 loss로 이어서 학습시켰을 때 loss가 크게 감소했다.
• 이는 L2 loss로 학습시켰을 때, local minimum에 갇혀 있었기 때문이라고 해석할 수 있다.

 

On the performance of SSIM and MS-SSIM

- TABLE I을 보면, SSIM과 MS-SSIM 둘 다 L1 loss보다 좋은 성능을 내지 못하는데, 그 이유를 크게 두 가지로 볼 수 있다.

 

1) $\sigma_G$의 값에 따라 edge와 flat region에서의 trade-off가 발생한다.

    - 작은 $\sigma_G$를 사용하면, edge 부분에서 더 좋은 결과를 내지만, flat region에서의 성능이 좋지 않다.

    - 큰 $\sigma_G$를 사용하면 반대로 edge 부분에서 성능이 좋지 않고 flat region에서 좋은 결과를 보인다.

 

2) SSIM은 uniform bias에 민감하지 않아 flat region, 특히 밝은 부분에서 color shift가 발생할 수 있다. 이는 MS-SSIM에서는 1)의 문제가 발생하지 않으나 여전히 L1 loss보다 성능이 낮은 이유이다.

 

- 이러한 문제가 발생하는 이유는, SSIM과 MS-SSIM은 원래 grayscale image를 위해 디자인된 metric들이기 때문이다.

- color image를 위해 디자인된 metric인 FSIM_c 등을 이용할 수도 있으나, 이들은 미분이 불가능하여 Loss function으로 사용하기 힘들다.