Stereo Calibration은
- Stereo Vision System에서
- 두 카메라의 상대적인 "위치와 방향(pose)"을 결정하는 과정임.
2024.07.09 - [Programming/DIP] - [CV] Pose: Position + Orientation
[CV] Pose: Position + Orientation
Pose라는 용어는Computer Vision, Augmented Reality, Computer Graphics, Robot Engineering 등에서 특정 object의공간에서의 위치(position)와해당 위치에서의 자세(or 방향, orientation)를 합친 개념임. Position (위치)3차원
dsaint31.tistory.com
참고로 Stereo Calibration에서는 각 카메라의 intrinsic matrix $K$가 구해진 것을 가정함.
2024.06.22 - [Programming/DIP] - [CV] Geometric Camera Model
[CV] Geometric Camera Model
Geometric Camera Model (or Camera Model)은 real world 와 camera의 pose에 따라,real world 와 camera의 image 간의 관계를approximation 함. 이 문서에서는 기본적인 Pinhole Camera Model에 기반하여 설명함.Pinhole Camera Model
dsaint31.tistory.com
Epipolar Geometry에 기반한 행렬 연산을 사용함.
두 카메라에서 Correspondings를 잘 추출하여야 하므로 matching의 성능도 중요함.
Stereo Calibration 은
- 두 카메라의 카메라 좌표계를 연결하는
- Rotation Matrix $\mathbf{R}$와
- Translation Vector $\mathbf{t}$를 계산하는 것을 포함함.
- 일반적으로 한 카메라 좌표계를 기준으로 해서 다른 카메라의 extrinsic matrix를 구한다고 생각해도 됨.
Stereo Calibration의 목적은
두 카메라가 공간적으로 어떻게 배열되어 있는지를 이해하는 것으로
이는 3D Reconstruction과 Depth Perception 등의
Stereo Vision에서 필수적인 선행 과정임.
2024.06.29 - [Programming/DIP] - [CV] Stereo Vision: Stereo Matching, Triangulation, Depth Map
[CV] Stereo Vision: Stereo Matching, Triangulation, Depth Map
CV와 DIP에서 Stereo Vision은 같은 대상에 대해, 서로 다른 view point에서 촬영된 두 image(보통 좌우 두개의 카메라로 구성되는 binocular stereo pair image)를 사용하여 3D 정보(주로 depth map)를 추출하는 기
dsaint31.tistory.com
실제 Stereo calibration 과정에서는 일반적으로
- Checkerboard Pattern과 같은 알려진 Calibration Object를 두 카메라로 동시에 촬영하여,
- 두 이미지에서의 Corresponding Points를 사용해
- Calibration Parameters를 계산함.
참고로, 다음의 과정을 통해 stereo vision system이 2D 이미지에서 3D 공간으로의 정확한 매핑을 할 수 있게 됨 (Stereo Vision).
- 각 Camera의 Intrinsic Camera Matrix $K$ 를 얻어냄.
- 최소 7쌍 (보통은 8쌍 이상)의 reliable corresponding features를 찾고, 이들이 image pixel coordinates를 획득.
- Epipolar constraint 를 통해 relative camera position $\mathbf{t}$와 orientation $\mathbf{R}$을 계산 (하나의 카메라를 기준으로함)
- Dense Correspondence를 구함: epipolar line 구하기 + 1D matching
- Triangulation을 통해 이미지의 각 pixel에서 depth를 계산: depth map획득
이 중 3번까지를 Stereo Calibration이라고 지칭:
대표적인 알고리즘으로
8-point alogrithm이 있음.
2024.06.28 - [Programming/DIP] - [CV] Epipolar Geometry [작성중]
[CV] Epipolar Geometry [작성중]
epipolar geometry는두 개의 카메라 images에서대응하는 점들 사이의 기하학적 관계를 설명하는 데 사용되는 용어Epipolar geometry는 각 카메라 image 상의 각 점이 epipolar line을 통해 어떻게 연결되었는지를
dsaint31.tistory.com
2024.07.17 - [Programming/DIP] - [CV] 8-point algorithm: Fundamental Matrix
[CV] 8-point algorithm: Fundamental Matrix
1. SIFT 등을 이용하여 reliable corresponding features 를 8쌍 이상 추출. 2. 1번 과정에서 찾은 correspondance에 Epipolar Constraint를 적용하여 matrix equation을 얻음.2024.06.28 - [Programming/DIP] - [CV] Epipolar Geometry [작성
dsaint31.tistory.com
같이 보면 좋은 자료들
Stereo Calibration의 자세한 단계와 예제는 아래 링크의 다양한 튜토리얼에서 확인할 수 있음:
https://www.youtube.com/watch?v=yKypaVl6qQo
https://youtu.be/v30I-BqGfuI?si=Mo2FNr8PzsnEdCHn
'Programming > DIP' 카테고리의 다른 글
| [CV] Hartley’s Normalization (1) | 2024.07.17 |
|---|---|
| [CV] 8-point algorithm: Fundamental Matrix (0) | 2024.07.17 |
| [CV] Example: Essential Matrix and Epipolar Line (2) | 2024.07.16 |
| [CV] Example: Fundamental Matrix and Epipolar Line (등극선) (1) | 2024.07.16 |
| [CV] Pose: Position + Orientation (+Boundary) (0) | 2024.07.09 |