[Overview] YOLO 계열 Object Detection 정리 - (1) YOLO

순서:

(1) YOLO (2016)

(2) YOLOv2

(3) YOLOv3

(4) YOLOv4

 

 

 

YOLO (2016)

 

Redmon, Joseph, et al. "You only look once: Unified, real-time object detection." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.

 

Paper: www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Redmon_You_Only_Look_CVPR_2016_paper.pdf

Official code: pjreddie.com/darknet/yolo/

 

 

Model Architecture

 

논문에서 제시한 모델 구조는 위 그림과 같음. 448*448*3 Input을 받아 7*7*30 Output을 출력한다.

Activation function으로는 alpha=0.1인 LeackyReLU를 사용했다고 한다.

 

 

 

Input Image를 S*S grid로 나누고, 각각의 grid cell에 대해

각 grid cell을 중심으로 하는 Bounding box coordinate x, y, w, h와 각 box의 confidence Pr(object)를 계산하고 --> B*5

각 grid cell에 대한 Class probability map Pr(Class_i)을 계산한다. -> C

 

B: 예측할 Bounding box의 개수 (논문에서는 2개)
C: Class 개수 (논문에서는 20개)

 

* bbox confidence는 class에 대한 confidence가 아니라, object가 있는지 없는지에 대한 confidence임.

 

 

---

 

각 구조를 더 자세히 살펴보면 다음과 같다. 

(출처: docs.google.com/presentation/d/1aeRvtKG21KHdD5lg6Hgyhx5rPq_ZOsGjG5rJ1HP7BbA/pub?start=false&loop=false&delayms=3000&slide=id.g137784ab86_4_1318)

 

 

1) 각 grid cell의 channel별 값을 살펴보면 다음과 같다.

- 첫 5개의 channel은 첫 번째 bbox의 좌표와 confidence, 다음 5개의 channel은 두 번째 bbox의 좌표와 confidence를 나타내며 마지막 20개의 channel은 해당 grid cell의 각 class에 대한 probability를 나타냄.

 

 

 

 

2) 각 bbox의 Class probability map을 구한다.

- 각 bbox의 object probability Pr(object)와 해당 grid cell의 class probability map Pr(class_i)를 곱하면 bbox의 class probability map을 얻을 수 있다. 

Grid cell 당 bbox가 두 개씩 있으므로 총 7*7*2 개의 vector을 얻음

 

 

 

 

3) 알고리즘을 통해 bbox를 결정한다.

 

*NMS: Non-Maximum Suppression

 

 

---

 

 

학습 방법은, 앞의 20개의 convolution layer은 ImageNet을 이용해 pretrain 시키고, 직접 제작한 Loss function을 이용해 나머지를 학습시켰다.

 

Model Architecture

 

 

학습에 사용한 Loss function은 다음과 같다.

x, y (bbox 중앙 좌표), w, h (bbox의 너비와 높이), C (bbox에 object가 존재할 확률), p_i(c) (각 class에 속할 확률) 의 error을 각각 계산해 더한다.

 

 

 

간단한 MSE와 거의 유사하지만, 다른 점은 각 항목마다 가중치를 주었다는 점이다.

• Localization error과 classification error에 서로 다른 가중치를 주었음.
• Object가 없는 cell의 개수가 훨씬 많기 때문에, 이쪽으로 gradient가 치우치는 것을 방지하기 위해 object가 있는 cell과 없는 cell의 가중치를 다르게 주었음.
• Box의 크기가 클 수록 error가 미치는 영향이 작아야 하므로, width와 height의 error을 측정할 때에는 root를 씌워 줌.