[알고리즘] Multiple Object Tracking (MOT)를 평가하는 지표

Multiple Object Tracking (MOT)는 비디오 내 다양한 객체들을 인식하고, Unique (고유) ID를 부여하여,

연속적인 프레임에서 객체의 이동을 ID와 함께 추적하는 작업이다.

 

MOT에 대한 논문들을 보면 여러가지 지표들이 나오는데, 본 포스팅에서 간략히 알아보고자 한다.

 

먼저 MOT를 통해 나오게 되는 Output에으로는 다음과 같이 세 가지가 있다.

1. Detection: 각 프레임에서 객체를 인식
2. Localization: 각 프레임에서 객체의 위치
3. Association: 여러 프레임들에서 객체가 같은 객체인지 아닌지를 확인

 

이 세개가 MOT의 수행을 통해 나오게 되는 결과물이며, 5가지의 에러를 바탕으로 다양한 지표들을 계산하게 된다.

(FN, FP, IDs, Deviation, Fragmentation)

 

- FN : 실제 객체가 존재하나, 없다고 예측한 경우 (미검지)
- FP : 실제 객체가 존재하지 않은데, 있다고 예측한 경우 (오검지)
- IDSW (ID switch) : 두개 또는 그 이상 가까이 붙어 있는 객체에 대해 Object tracking이 뒤바뀐 경우
                                  (ID가 서로 바뀐 경우)
- Deviation : 객체의 ID가 tracking 과정에서 다른 ID로 초기화된 경우
                     (아예 다른 객체로 인식하게 된 경우라고 볼 수 있음)
- Fragmentation : Object tracking이 갑자기 멈추었지만, 객체는 계속 존재하는 경우

 

출처: MOT16: A Benchmark for Multi-Object Tracking (논문)

 

자주 쓰이는 5가지 지표들은 아래와 같다.

1. Track-mAP
2. Multi-Object Tracking Accuracy - MOTA
3. Multi-Object Tracking Precision - MOTP
4. IDF1
5. Higher-Order Tracking Accuracy - HOTA
6. FPS (처리 속도에 대한 성능 지표)

 

그 중 정확도에 대한 성능지표로 MOTA와 MOTP, 그리고 FPS를 알아보고자 한다.

 

2. Multi-Object Tracking Accuracy - MOTA

MOTA는 객체의 인식, 추적 단계에서 FP와 FN, 그리고 IDs를 고려하여 알고리즘이 얼만큼 정확도를 보이는지 나타낸다.

FP와 FN은 MOT Output 중 Detection에 해당하며, IDSW는 Association에 해당한다.

 

구하는 식은 아래와 같다.

MOTA 계산 식

MOTA의 단점은 Localization에 대한 error는 고려하지 않으며, 성능이 Detection에 크게 좌우된다는 것

 

 

3. Multi-Object Tracking Precision - MOTP

MOTP는 Localization의 정확도를 나타내는 지표이다. 객체를 옳게 탐지한 TP에 대해 유사도 S를 평균한다.

 

구하는 식은 아래와 같다.

MOTP 계산 식

MOTP는 Localization에 대한 정량화를 한 지표이기 때문에, 실제 성능에 대해 정보를 제공하지 않는다는 단점이 있다.

 

 

6. FPS

Frame per second로 초당 몇 개의 Frame에서 detection을 수행하는지에 대한 지표이다. 

즉, Object detection하는 모델의 속도를 나타내는 지표이다.

 

 

Object detection과 tracking에 대한 프로젝트를 살짝 수행하면서, 문외한이던 내가 조금씩 공부하면서 작성한거라 부족한 부분이 많을 수 있다 (아니 많을 것이다). 일단, 내가 필요한 부분만 작성하여 포스팅했는데, 나머지 부분에 대해서는 더 공부하면서 내용을 추가하도록 하겠다.

 

 

참고한 사이트: 

https://arshren.medium.com/evaluation-metrics-for-multiple-object-tracking-7b26ef23ef5f 

Evaluation Metrics for Multiple Object Tracking

 

참고 논문: 

Milan, A., Leal-Taixé, L., Reid, I., Roth, S., & Schindler, K. (2016). MOT16: A benchmark for multi-object tracking. arXiv preprint arXiv:1603.00831.

이혜민, & 김대진. (2021). 외형 특징을 사용하지 않는 효율적인 다중 물체 추적 방법. 한국정보처리학회 학술대회논문집, 28(2), 872-874.

양수진, 정인화, 강동화, & 백형부. (2021). SORT 와 DeepSORT 의 혼합을 이용한 실시간 다중객체 추적. 한국정보기술학회논문지, 19(10), 1-9.