MSE Loss (L2 Loss) vs. MAE Loss (L1 Loss)

heartbeat.fritz.ai/5-regression-loss-functions-all-machine-learners-should-know-4fb140e9d4b0

의 일부를 번역 & 요약한 글

 

MSE Loss and MAE Loss

MSE(Mean Squared Loss, L2 Loss)는 Error의 제곱의 평균을 낸 값입니다. 수식으로 나타내면 아래와 같습니다.

다음은 True value를 100이라고 했을 때 Predicted value를 -10,000에서 10,000까지 변화시켜 가며 그린 그래프입니다. x축은 Predicted value, y축은 MSE Loss의 값을 나타냅니다.

 

MAE(Mean Absolute Loss, L1 Loss)는 Error의 절대값의 평균을 낸 값입니다. 수식으로 나타내면 다음과 같습니다.

다음은 True value를 100이라고 했을 때 Predicted value를 -10,000에서 10,000까지 변화시켜 가며 그린 그래프입니다. x축은 Predicted value, y축은 MAE Loss의 값을 나타냅니다.

 

MSE Loss와 MAE Loss 모두 Predicted value가 True value와 같을 때 최소값을 가지고, Loss값은 0부터 무한대의 범위를 가집니다.

 

 

MSE vs. MAE

결론부터 말하자면, 최적값을 구하기에는 MSE가 좋지만, MAE가 outlier(이상치)에 덜 영향을 받습니다.

 

MAE의 경우, loss가 크던 작던 항상 gradient가 일정합니다. Loss가 작아도 gradient는 작지 않기 때문에 경사하강법(gradient descent)를 사용해 최적값을 찾는 데에 어려움이 존재합니다.

이에 비해 MSE는 loss가 크면 gradient도 크고, loss가 작으면 gradient도 작기 때문에 최적값을 찾는 것이 보다 수월합니다.

 

 

다만, 다른 값들에 비해 훨씬 큰 값이나 작은 값인 이상치가 존재하는 경우 MAE가 더 영향을 적게 받습니다.

그 예시로 아래 표에서 왼쪽은 이상치가 없는 경우, 오른쪽은 이상치가 존재하는 경우입니다. 각각의 경우에서 MAE와 RMSE(MSE에 Root를 취한 값)를 계산합니다. (*MSE 대신 RMSE를 사용한 이유는 MAE와 scale을 맞춰 주기 위함임)

 

이상치가 존재하는 경우 RMSE는 영향을 크게 받아 값이 매우 커진 것에 비해, MAE는 차이가 덜합니다.

그 이유는 Error에 제곱을 취하는 MSE의 경우 그 과정에서 Error가 증폭되기 때문입니다. 

 

 

따라서 Train data에 이상치가 존재하는 경우 MAE Loss를 사용하는 것이 좋을 수 있습니다.

또한, MSE Loss를 사용하여 훈련한 경우, 예측값은 정답 값들의 평균을 의미하고, 

MAE Loss를 사용하여 훈련한 경우, 예측값은 정답 값들의 중앙값을 의미한다고 생각할 수도 있습니다.