[OpenCV] API Backend for VideoCapture

API 백엔드(API Backend)는

• OpenCV와 같은 라이브러리가
• 비디오 장치나 비디오 파일, 네트워크 스트림 등의 다양한 입력 소스와 상호작용할 때
• 사용하는 하부 시스템 또는 하위 레벨의 API를 의미함.

Backend는 OpenCV가 특정 운영 체제나 플랫폼에 맞는 방식으로 비디오 데이터를 캡처하고 처리할 수 있도록 중재해줌.

---

1. Backend의 역할

OpenCV는 다양한 장치나 파일에서 비디오 데이터를 읽고 처리하기 위해서 다양한 운영 체제나 장치와 상호작용하는 방법을 알아야 함

• 이는 모든 운영 체제나 하드웨어는 서로 다른 방법으로 장치를 처리하는 경우가 많기 때문임.
• 때문에 OpenCV는 여러 개의 비디오 I/O API 백엔드를 사용하여 다양한 장치를 지원함.

각 backend는 특정 플랫폼이나 기술 스택에 최적화되어 있으며, OpenCV가 특정 backend를 통해 특정 플랫폼에서 비디오 캡처 기능을 원활하게 수행토록 해줌.

---

2. API Backend 의 주요 역할

• 카메라 장치 (webcam등) 와 상호작용하여 비디오 스트림을 실시간으로 가져오는 역할.
• 비디오 파일을 열고 프레임 데이터를 읽는 역할.
• 네트워크 스트림(예: RTSP, HTTP)에서 비디오 데이터를 처리하는 역할.

---

3. OpenCV에서 사용 가능한 백엔드 종류

OpenCV는 다양한 플랫폼과 장치를 지원하기 위해 다음과 같은 비디오 I/O 백엔드를 제공함.

지정하지 않을 경우 기본으로는 cv2.CAP_ANY 임.

1. cv2.CAP_V4L2 (Video4Linux2):
   • Linux 기반 시스템에서 웹캠 및 비디오 장치와 상호작용하기 위한 Backend.
   • 주로 USB 카메라와 같은 장치를 다룸.
2. cv2.CAP_DSHOW (DirectShow):
   • Windows에서 카메라 장치와 상호작용하기 위한 Backend.
   • DirectShow는 Microsoft에서 제공하는 멀티미디어 스트림 처리 프레임워크
   • 주로 웹캠 등 장치로부터 비디오 스트림을 받아오는 데 사용됨.
3. cv2.CAP_MSMF (Media Foundation):
   • Windows에서 제공하는 또 다른 비디오 캡처 API Backend.
   • DirectShow의 대체 기술로 등장했으며, 최신 Windows 플랫폼에서 멀티미디어를 처리하는 데 최적화되어 있음.
4. cv2.CAP_AVFOUNDATION (AVFoundation):
   • macOS와 iOS에서 제공하는 비디오 처리 Backend로,
   • Apple의 멀티미디어 프레임워크임.
   • 주로 웹캠이나 비디오 장치와 상호작용하는 데 사용됨.
5. cv2.CAP_FFMPEG (FFmpeg):
   • FFmpeg는 비디오 파일과 네트워크 스트림을 처리하기 위한 Backend.
   • 여러 비디오 포맷과 코덱을 지원하며, 비디오 파일 또는 네트워크 스트림을 처리하는 데 적합.
   • 웹캠 장치를 다루기에는 적합하지 않음.
   • 비디오 파일 재생 및 변환, 스트리밍에 초점을 둔 Backend.
6. cv2.CAP_GSTREAMER (GStreamer):
   • GStreamer는 다양한 멀티미디어 파일과 네트워크 스트림을 처리하는 멀티미디어 프레임워크.
   • 크로스 플랫폼으로, 비디오 파일이나 네트워크 스트림을 처리하는 데 유용.
7. cv2.CAP_INTELPERC:
   • 인텔의 Perceptual Computing SDK와 상호작용하기 위한 Backend.
   • deprecated!
8. cv2.CAP_OPENNI:
   • 3D 카메라 및 깊이 센서와 상호작용하는 데 사용됨.
   • 예를 들어, Kinect와 같은 장치와 연동할 수 있는 걸로 알려짐.

그 외에, cv2.CAP_FIREWIRE (deprecated)와 cv2.CAP_GPHOTO2 도 있음.

---

4. Backend 사용 예시

기본적인 사용 예시:

Backend를 지정하지 않으면 OpenCV는 기본적으로 사용 가능한 백엔드를 자동으로 선택함.

• 하지만 특정 백엔드를 명시적으로 지정할 수도 있음
• cv2.VideoCapture(cam_id, api_backend)

4-1. Linux (V4L2 백엔드 사용)

import cv2

# Video4Linux2 백엔드(V4L2)를 사용하여 첫 번째 카메라 장치 열기
cap = cv2.VideoCapture(0, cv2.CAP_V4L2)

if not cap.isOpened():
    print("Cannot open camera")
    exit()

while True:
    ret, frame = cap.read()
    if not ret:
        print("Can't receive frame (stream end?). Exiting ...")
        break

    cv2.imshow('frame', frame)

    if cv2.waitKey(1) == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

4-2. Windows (DirectShow 백엔드 사용)

import cv2

# DirectShow 백엔드를 사용하여 카메라 장치 열기 (Windows)
cap = cv2.VideoCapture(0, cv2.CAP_DSHOW)

if not cap.isOpened():
    print("Cannot open camera")
    exit()

while True:
    ret, frame = cap.read()
    if not ret:
        print("Can't receive frame (stream end?). Exiting ...")
        break

    cv2.imshow('frame', frame)

    if cv2.waitKey(1) == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

4-3. macOS (AVFoundation 백엔드 사용)

import cv2

# AVFoundation 백엔드를 사용하여 카메라 장치 열기 (macOS)
cap = cv2.VideoCapture(0, cv2.CAP_AVFOUNDATION)

if not cap.isOpened():
    print("Cannot open camera")
    exit()

while True:
    ret, frame = cap.read()
    if not ret:
        print("Can't receive frame (stream end?). Exiting ...")
        break

    cv2.imshow('frame', frame)

    if cv2.waitKey(1) == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

4-4. FFmpeg을 사용하여 비디오 파일 또는 네트워크 스트림 처리

import cv2

# FFmpeg을 사용하여 비디오 파일을 열기
cap = cv2.VideoCapture("video.mp4", cv2.CAP_FFMPEG)

if not cap.isOpened():
    print("Cannot open video file")
    exit()

while True:
    ret, frame = cap.read()
    if not ret:
        print("Can't receive frame (stream end?). Exiting ...")
        break

    cv2.imshow('frame', frame)

    if cv2.waitKey(1) == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

---

5. Backend 선택의 중요성

비디오 캡처 API(백엔드)는 각 시스템에서 비디오 소스(카메라, 파일, 스트림)를 효율적으로 처리하기 위해 중요한 역할을 함.

• Linux에서는 V4L2가 기본적으로 사용되며, 이는 USB 카메라와의 상호작용에 최적화되어 있음.
• Windows에서는 DirectShow 또는 Media Foundation을 사용하여 webcam과 상호작용할 수 있으며, 최신 시스템에서는 Media Foundation이 더 많이 사용됨.
• macOS에서는 AVFoundation이 기본 멀티미디어 처리 프레임워크로, 비디오와 오디오 장치와 상호작용함.
• FFmpeg는 비디오 파일 재생 및 네트워크 스트리밍에 적합하며, 거의 모든 비디오 형식 및 프로토콜을 지원함.

---

6. 백엔드 사용 시 발생할 수 있는 경고

각 백엔드가 모든 기능을 지원하는 것은 아님.

예를 들어, FFmpeg 백엔드는 카메라 장치를 제어하는 데 적합하지 않으며, 카메라 장치를 열려고 할 때 다음과 같은 경고 메시지가 발생할 수 있음:

[ WARN:0@2.110] global cap.cpp:344 open VIDEOIO(FFMPEG): backend is generally available but can't be used to capture by index