GitHub - wangjinhoon/object_detection_and_depth_estimation: 역할 : 모델 학습 및 거리 추정 알고리즘 코드 설계, 목적 : 탁구공 학습 및 검출 후 거리 추정 프로젝트

역할 : 딥러닝 모델 학습 및 거리 추정 알고리즘 설계, 영상처리

프로젝트 기간 : 2주

사용 언어 : Python

개발 환경 : Ubuntu18.04, 자이카 TX2보드

사용할 툴 : Pytorch, OpenCV

내용

자이카에 내장된 카메라를 통해 탁구공을 검출하고 거리를 추정하는 프로젝트 입니다. 거리 추정 알고리즘에 사용되는 카메라 하드웨어의 FOV값이 데이터시트에 없어 이 값을 구하는 것이 어려웠습니다. FOV 값을 구하는 여러 자료를 찾아 그 중 실제 거리와 오차가 가장 적은 FOV 값을 적용하는 것으로 했습니다.

학습

✅ : 채택방법

• 영상 calibration 값 선택

  • xycar 내부 코드 활용
  • 체크보드에서 직접 검출

• 데이터 라벨링

  • 두 탁구공의 색깔을 구분 : white ball, yellow ball

  • ball과 ignore 두 클래스로 구분 ✅

    ttd_dataset_1000.zip

• YOLOv3 - tiny 를 그대로 사용 ✅ (파이토치 변환은 시간상 힘들 것 같다)

  

객체 위치 판단

거리 추정

• Homography Distance Estimation
• Geometrical Distance Estimation ✅
  • 카메라와 대상 객체의 기하학적 조건을 활용
    • 카메라 높이
    • 대상 객체가 3차원 공간에 존재하는 특수 조건
    • 원근변환
  • FOV 알아내기 : 횡방향 정보를 알기 위해 사용

    • 체크보드 20장

      • FOVx: 85.15642320910048
      • FOVy: 69.28313182755481

    • 체크보드 20 + 10장

      • FOVx: 84.42658489293875
      • FOVy: 68.51253227818162

    • $\text{azimuth}$, $\text{distance}_x$, $\text{distance}_z$ 계산

    • 객체 높이 및 카메라 파리미터 선언(카메라 마다 상이)

      • $\text{Camera Height} = 0.01475$
      • $\text{FOV}_h = \frac{135.4 - 42}{2}$

    • Get a center pixel value in x axis

      $$ x_{center} = \frac{x_{\min} + x_{\max}}{2} $$

    • Get a y coordinate in normalized image plane

      $$ y_{\text{Normalized Plane}} = \frac{y_{\max} - f_y}{c_y} $$

    • Calculate distance

      $$ \Delta x_{\text{pixel}} = \bigg(x_{center} - \frac{\text{width}}{2}\bigg) \\ \text{azimuth} = \bigg(\Delta x / \frac{\text{width}}{2}\bigg) \times \text{FOV}_h \\ \text{distance}z = \bigg(\frac{\text{Camera Height}}{y{\text{Normalized Plane}}} \times 100\bigg) \\ \text{distance}_x = \text{distance}_z \times \tan\bigg(\frac{\text{azimuth}}{180}\pi\bigg) \\ \text{distance} = \text{distance}_z / \cos\bigg(\frac{\text{azimuth}}{180}\pi \bigg) $$