[딥러닝 논문리뷰] Class-Balanced Loss Based on Effective Number of Samples (CVPR 2019)

 

CVPR 2019에 발표된 논문인

Class-Balanced Loss Based on Effective Number of Samples

를 정리한 글입니다.

 

데이터셋의 Class Imbalance를 해결하기 위해 새로운 Loss Design를 제안하는 논문입니다.

 

 

---

Long Tailed Dataset

 

Long Tailed Dataset

 

위 그림은 각 Class에 속하는 Sample의 갯수를 나타낸 그래프인데요,

 

일부 몇 개의 Class에만 Sample들이 몰려 있고,

대부분의 Class에는 매우 적은 수의 Sample이 있는 데이터셋을 Long Tailed Dataset이라고 합니다.

 

이러한 데이터셋을 가지고 학습한 모델은 일반적으로 성능이 잘 나오지 않는데,

Large-scale, real-world 데이터셋들은 보통 Long Tailed 형태를 띄고 있다고 합니다.

 

본 논문에서는 이러한 Long Tailed Dataset을 효과적으로 학습시키기 위한 Loss design을 제안하고 있습니다.

 

 

 

---

Existing Strategies

Long Tailed Dataset을 효과적으로 학습시키기 위한 연구는 이전에도 많이 진행되어 왔습니다.

 

기존의 방법들은 크게 두 가지 카테고리로 나눌 수 있는데요,

Re-sampling 과 Re-weighting 입니다.

 

 

Re-sampling은 데이터셋을 수정해 Class Imbalance를 해소하는 방법입니다.

Minor Class의 샘플을 중복하여 사용하는 Over-sampling이 있고,

Major Class의 샘플을 일부 제거하여 사용하는 Under-sampling이 있습니다.

 

하지만 당연히 이러한 방법들은 근본적인 해결책이 되지는 못합니다.

Over-sampling은 overfitting이 발생할 수 있고, under-sampling은 귀중한 sample들을 버릴 수 있다는 단점이 있습니다.

 

 

따라서 Re-weighting의 방향으로 많은 연구가 진행되었는데요,

이는 Minor Class의 Loss에 더 큰 가중치를 주는 방식입니다.

(1) Class frequency에 반비례하는 가중치를 추가해주는 방식과,

이를 발전시켜 (2) Class frequency의 Square root에 반비례하는 가중치를 추가해주는 방식이 제안되었습니다.

 

 

 

 

본 논문에서 제안하는 방식 역시 Re-weighting의 한 종류입니다.

다만, 기존 방법들과 다르게 Sample의 Effective number에 반비례하는 가중치를 추가해주는 방식을 제안합니다.

 

 

 

---

Effective Number of Samples

본 논문은 Effective Number of Samples를 사용하여 Loss에 가중치를 부여합니다.

그렇다면 Effective Number이란 무엇일까요?

 

간단하게 말하면 Data 간의 Information Overlap을 나타내는 수치입니다.

 

Sample의 수가 늘어날수록, Model이 Data로부터 얻을 수 있는 Marginal benefit은 줄어듭니다.

처음 몇 개의 Sample만 있을 때에는 각각의 Sample들이 서로 다른 정보를 알려주지만,
Sample의 수가 많아질수록 각 Sample이 가지고 있는 정보 간의 Overlap이 발생하기 때문에,
Model이 배우는 새로운 정보의 양은 점점 줄어든다는 것이죠.

 

---

 

 

Effective Number을 구하기 위해 Random Covering Problem을 정의합니다.

 

 

• 어떤 Class에 해당하는 모든 Data들의 집합을 set S라고 하고, 이 set의 Volume을 N이라고 합니다.
• 각각의 Sample은 set S의 subset에 해당하고, Volume은 1입니다.
• Sample들은 서로 Overlap할 수 있습니다.
• Sample들은 Random하게 추출되고, 전체 set S를 Cover하는 것이 목표입니다.

 

Sample들이 Random하게 추출될 때, 이들이 Cover하는 Volume은 점점 증가합니다.

 

하지만 Sample들 간의 Overlap이 발생하고, Sample 수가 발생할수록 Overlap할 확률은 증가하기 때문에

Sample의 수가 늘어날수록 Volume의 기대값은 점점 줄어듭니다.

 

 

여기서 Effective Number을 Sample들의 Expected Volume으로 정의합니다.

 

---

 

Effective Number의 계산을 위해 문제를 좀 더 단순화시키겠습니다.

 

• Partial Overlapping은 존재하지 않습니다.
• 즉, 서로 다른 두 개의 Sample은 완전히 Overlapping하거나, 서로 Overlapping하지 않습니다.

 

 

 

 

위와 같은 조건을 추가하면 Overlapping이 발생할 확률과, 발생하지 않을 확률을 구할 수 있어

n개의 Sample을 추출했을 때의 Effective Number을 아래와 같이 계산할 수 있습니다.

 

 

n개의 Sample을 추출했을 때의 Effective Number

 

 

증명 과정은 간단하기 때문에 원문을 첨부하겠습니다.

 

 

 

 

 

Effective Number에 대한 식을 풀어 쓰면 아래와 같이 표현할 수 있습니다.

이는 i번째 추출한 Sample이 Effective Number에 𝛽^i 만큼 기여함을 의미합니다.

 

 

 

 

 

---

Class-Balanced Loss

드디어 이 논문에서 제안하는 Loss Design까지 왔습니다.

 

바로.. Loss에 각 Class의 Effective Number에 반비례하는 가중치를 곱해 주는 것입니다.

 

---

 

다음은 i번째 Class의 Effective Number인데요, (위에서 구한 값과 동일합니다)

이 때 n_i는 Class i에 속하는 Sample의 개수를 의미합니다.

 

 

i번째 Class의 Effective Number

 

 

 

실제로는 N의 값을 알 수 없기 때문에 적절한 값을 찾아야 하는데, 

각각의 Class마다 N값을 다르게 하면 Parameter의 개수가 너무 많아집니다.

 

 

따라서 모든 Class의 N_i 값을 통일시켜 주면 i번째 Class의 Effective Number은 다음과 같게 됩니다.

 

 

N을 통일시킨 후 i번째 Class의 Effective Number

 

 

---

 

그리고 이 값을 이용한 Class-Balanced(CB) Loss는 다음과 같습니다.

 

 

Class-Balanced Loss

 

 

 

적절한 하이퍼파라미터 𝛽 값을 선택하여 주면 되고,

Model과 Loss의 종류에 무관하다는 장점이 있습니다.

 

 

---

Experiments

실험에 사용한 Loss의 종류는 다음과 같습니다.

• Softmax Cross-entropy Loss
• Sigmoid Cross-entropy Loss
• Focal Loss

 

총 세가지 데이터셋을 사용했습니다.

• CIFAR-10과 CIFAR-100을 이용해 직접 만든 Long Tailed Dataset (Imbalance의 정도를 5가지로 하여 만듦)
• iNaturalist 2017 & 2018 (Real-world Long Tailed Dataset 이라고 하네요)
• ImageNet (Long Tailed가 아닌 Dataset에도 실험을 진행해 보았습니다)

 

CIFAR-100을 이용해 만든 Long Tailed Dataset

 

 

---

 

Long Tailed CIFAR-10과 CIFAR-100에 대한 실험 결과입니다.

 

𝛽값으로는 0.9, 0.99, 0.999, 0.9999 네 가지를 사용했습니다.

 

각 Loss에 대한 Error rate를 나타냈으며

위는 일반적인 Loss를 이용했을 때,

아래는 Class-Balanced Loss를 이용했을 때의 결과이며 가장 결과가 좋았던 Loss와 Hyperparameter만을 기재했습니다.

 

 

 

 

모든 경우에서 CB Loss가 더 좋은 성능을 보여줬습니다.

 

특이한 점으로는, 보통 비전 영역에서 Softmax Loss가 주로 사용되는데, CB Loss를 이용한 결과에서는 Sigmoid와 Focal Loss가 성능이 더 좋았고,

CIFAR-10 데이터셋에서는 𝛽=0.9999일 때 가장 성능이 좋았으나, CIFAR-100 데이터셋에서는 Imbalance의 정도에 따라 각기 다른 𝛽값에서 최고 성능이 나왔다고 해요.

 

 

---

 

 

 

 

 

𝛽값에 따른 성능을 표로 나타낸 것입니다.

 

CIFAR-10의 경우 𝛽값이 클수록 성능이 더 좋아졌고,

CIFAR-100의 경우 작은 𝛽값을 사용했을 때만 성능 향상이 있었다고 합니다.

 

---

 

그 이유를 알아봅시다..

 

 

분석이 정말 끝도 없다.. 열심히 논문을 쓰셨군요

 

 

 

Effective Number의 계산식을 다시 가져와 보겠습니다.

 

Effective Number의 계산식

 

 

N이 의미하는 것은 unique prototype의 수라고 할 수 있습니다.

보다 Fine한 데이터셋은 Coarse한 데이터셋보다 작은 N 값을 가진다고 생각할 수 있습니다.

 

CIFAR-100의 Class들은 CIFAR-10보다 더 Fine하기 때문에 더 작은 N 값을 가질 것이고, (예를 들자면 CIFAR-100은 참새, 비둘기,.. 이런 Class들이 있다면 CIFAR-10은 새 라는 더 큰 범위의 Class들로 이루어져 있기 때문에 CIFAR-100의 Class가 더 Fine하다는 것)따라서 더 작은 𝛽값에서 잘 동작한다.. 라고 해석할 수 있겠습니다.

 

---

 

iNaturalist와 ILSVRC 데이터셋에 대한 실험결과를 마지막으로 마무리하겠습니다.

역시 CB Loss에서 좋은 결과를 냈습니다.

 

 

 

 

 

 

---

 

Loss에 가중치를 추가해 주는 방식으로 간단하게 구현이 가능하기 때문에
실제로 long tailed dataset을 학습해야 할 일이 있을 경우 한 번 시도해 보아도 좋을 것 같습니다❗️