[CV] Scene 과 Image: Computer Graphics 와 Computer Vision

Scene은
현실 세계 또는 가상의 3차원 공간에 존재하는
물체, 구조, 광원, 재질, 배경 등으로 이루어진
공간적·기하학적 정보의 집합체

---

1. Scene 의 세부 종류와 Image:

1-1. Physical Scene (물리적 장면): 

현실 세계에 존재하는 3차원 구조로, 광원, 물체, 표면 재질 등이 실제로 존재하는 공간

우리가 카메라로 촬영하는 실제 세계를 의미함.

---

1-2. Geometric Scene (기하학적 표현): 

거리, 크기, 방향 등의 기하 정보 포함함.
3D 메쉬 (Geometric Scene의 표면을 표시), Point Cloud (Geometric Scene 의 기하학적 정보를 점으로 표현) 등으로 구성됨.

• Physical Scene을 3D 형태로 디지털화한 결과.
• SLAM, Lidar 스캔 등에서 사용

Wolfram 등에서의 “GeometricScene”은
더 추상적이고 수학적인 정의(점, 선, 각 등으로 구성된 장면)로 구성되기도 함.

---

1-3. Semantic Scene (의미 기반 표현): 

pixel 단위로 각 객체의 클래스(label)가 정의된 이미지.
시각적 질감 없이 구조적 정보만 존재함.

• 주로, segmentation 의 결과 이미지 (mask라고도 불림): 사람, 도로, 차량 등 의미 단위로 구분된 장면

segmentation이란? https://dsaint31.me/mkdocs_site/ML/ch00/ch00_20_supervised/?h=segme#semantic-segmentation-vs-instance-segmentation

BME

---

1-4. Scene Graph (장면 그래프)

객체 간의 의미 관계를 그래프로 구성한 추상적 장면 표현

• 설명: “사람은 자전거를 타고 있다”, “나무는 건물 옆에 있다”처럼 관계 중심

Neural Motifs: Scene Graph Parsing with Global Context (CVPR 2018)

---

2. Image (이미지)

위의 어떤 scene 표현을 기반으로 rendering 과정을 거쳐 생성된 2차원 픽셀 정보

• scene을 물리적 혹은 그래픽적으로 projection(투영)해 생성한 결과
• 현실의 카메라로 캡처했거나, 3D 그래픽스 엔진을 통해 rendering해 생성한 2차원 픽셀 데이터

 

Rendering은 3D scene으로 부터 기하정보, 광원, 재질, 그림자, 반사 등등의 광학적 요소를 모두 고려하여 최종 image를 만드는 과정을 의미.

• 3차원 위치정보를 2D로 매핑하는 Projection을 포함하는 매우 넓은 개념임.
• projection은 rendering의 한 부분임.

---

3. Computer Graphics 와 Computer Vision

• 컴퓨터 비전
  • 실제 세상(Scene)을 나타내는 촬영된 Image를  분석하여 이해하는 작업
  • Output: Symbol or Understanding, abstracted scene 
• 컴퓨터 그래픽스
  • 데이터나 모델 (~Symbol, abstracted scene)을 바탕으로
  • 현실적이거나 스타일화된 장면(Image)을 생성하는 작업

---

요약 정리

Scene 종류	desc.	example
Physical Scene	실제 세계	거리, 사람, 나무 등
Geometric Scene	3D 모델 기반 표현	포인트 클라우드
Semantic Scene	의미 단위로 구분된 장면	Segmentation map
Scene Graph	객체 간의 관계 중심 표현	그래프 구조
Image	Scene으로부터 생성된 픽셀 데이터	카메라 또는 렌더링 결과

 

Computer Graphics와 Image Acquisition은 scene에서 image로 진행.

Computer Vision은 image에서  scene 또는 symbol로 진행.

---

같이보면 좋은 자료들

2024.09.01 - [Programming/DIP] - [CV] DIP, Image Analysis, and Computer Vision

[CV] DIP, Image Analysis, and Computer Vision

---