[CV] 시각지능 딥러닝 #4 Object Detection 객체 탐지

Object Detection

• 컴퓨터는 동영상을 프레임 단위로 인식함
• 물체 A가 오른쪽에서 왼쪽으로 이동하면 사람은 바로 인지할 수 있지만, 컴퓨터는 오른쪽 A와 왼쪽 A를 같은 것이라고 인지하지 못함 => 인식이 됐다가 안됐다가 함
• Localization : 단 하나의 Object 위치를 Bounding Box로 지정하여 찾음
• Object Detection : 여러 개의 Object들의 위치를 Bounding Box로 지정하여 찾음
• Bounding Box
  • 하나의 Object가 포함된 최소 크기 박스
  • 구성 요소 : x, y(좌표), w, h(크기) => 모두 합쳐서 위치 정보라고 할 수 있음
  • Ground-truth Bounding Box : 정답 박스
  • Prediction Bounding Box : 모델이 예측한 박스
    • 구성 요소 : 예측값 (x햇, y햇, w햇, h햇)
• 모델이 Object가 있는 위치를 잘 예측 -> Regression으로 접근
  • x와 x햇, y와 y햇이 비슷 : Bounding Box 꼭짓점 예측을 잘했다
  • w와 w햇, h와 h햇이 비슷 : Bounding Box 크기 예측을 잘했다
• Object가 Bounding Box 안에 있다면 Classification으로 접근 가능
• Confidence Score : Object가 Bounding Box 안에 있는지에 대한 확신의 정도
  • 0에 가까울수록 Object가 없다고 추측
  • 1에 가까울수록 Object가 있다고 추측 
  • 모델마다 IoU 정의가 다름
    1. 단순히 Object가 있을 확률
    2. Object가 있을 확률 * IoU
    3. Object가 특정 클래스일 확률 * IoU
• IoU (Intersection over Union)
  
  • 두 박스의 중복 영역 크기를 통해 측정 -> 겹치는 영역이 넓을수록 좋은 예측
• NMS (Non-Maximum Suppression)
  
  • IoU가 일정 값 이상이면 같은 Object를 가리키는 것이라고 판단, 상대적으로 Confidence Score가 낮은 Bounding Box를 제거하는 것
    1. 일정 Confidence Score 이하의 Bounding Box 제거
    2. 남은 Bounding Box들을 Confidence Score 내림차순으로정렬
    3. 첫 Bounding Box(Confidence Score가 가장 높은!)와의 IoU 값이 일정 이상인 박스들을 제거
    4. Bounding Box가 하나 될 때까지 반복
  • Confidence Score Threshold가 높을수록, IoU Threshold가 낮을수록, 박스에 대한 중복 판단이 깐깐해지는 것
  • Confidence Score Threshold와 IoU Threshold는 사용자 조절 = HyperParameter
• IoU Threshold 값에 따라 Precision, Recall 변화
• Average Precision (AP)
  • Precision - Recall Curve 그래프 아래의 면적
• mean Average Precision (mAP)
  • 각 클래스 별 AP를 합산하여 평균을 낸 것
• Annotation
  • 이미지 내 Detection 정보를 별도의 설명 파일로 제공되는 것을 Annotation이라고 함
  • Annotation은 Object의 Bounding Box 위치나 Object 이름 등을 특정 포맷으로 제공
• roboflow : 컴퓨터 비전 커뮤니티
  • 남의 데이터셋 가져다가 써보기
  • 직접 데이터셋 구성하기
• Object Detection에서의 CNN의 역할
  • Feature Representation이란 ?  위치 정보를 보존하여 이미지를 훼손하지 않은 채로 feature representation
  • box bounding regression에서 위치 정보 파악이 필요함
    • CNN 기반 모델을 Backbone으로 사용 + (Neck) + 우리 문제에 맞게 변형 (Head)