Image Synthesis

728x90

정의

서로 다른 영상 데이터나 영상이 아닌 데이터 (symbol, scene)를 결합하여 새로운 이미지를 생성:

데이터 융합을 통한 새로운 시각화가 목적으로,
현실에서 수집된 데이터의 정보성을 유지하거나,
기존 이미지들로부터 새로운 시점을 만드는 것이 목표.

다음의 예를 들 수 있음.

PET/CT, MRI/CT
- 다른 modality 데이터를 합성하여 해부학 + 대사 정보를 동시에 제공
여러 시점의 2D 이미지로 새로운 각도의 이미지를 생성
- multi-view synthesis
- Neural Radiance Fields (NeRF)
딥러닝 기반으로 두 이미지의 스타일과 내용을 결합한 새로운 이미지 생성
- Generative Adversarial Network (GAN)
AR에서 실제 영상과 가상 그래픽 데이터를 결합하여 하나의 영상으로 표시

Image Synthesis는
기존 데이터를 기반으로 “정보를 융합”하고,
Computer graphics 는
가상의 장면을 “창조”하는 데 초점

의료 영상 (Medical Imaging)

서로 다른 촬영 모달리티 데이터를 결합해 새로운 영상을 생성

예: PET(대사 정보) + CT(해부학 정보) → PET/CT 영상

대사활동과 해부학적 정보를 동시에 보여주는 합성 이미지.

https://www.neurologica.com/blog/pet-scan-vs-ct-scan

멀티뷰 이미지 합성 (Multi-view Synthesis)

여러 각도에서 촬영한 2D 사진들을 결합해 새로운 각도의 이미지를 생성

예: 스마트폰 파노라마 모드, NeRF(Neural Radiance Fields)

3D 공간의 새로운 시점 생성.

https://developer.nvidia.com/blog/getting-started-with-nvidia-instant-nerfs/

위성/항공 영상 합성

다른 시기에 촬영한 위성 영상이나 서로 다른 센서(광학, 적외선) 데이터를 결합

https://www.koreascience.kr/article/JAKO202331439049945.page

흰색 원을 통해 하천 폭이 증가하여 피해 후 영상에서 탐지된 수체인 빨간색 부분이 많은 것을 확인할 수 있음.
수체(水體)는 학문적으로 “물의 집합체”, 즉 물이 모여 있는 덩어리나 영역
흰색 원은 강한 폭우를 동반한 태풍 발생 이후 형산강과 냉천의 강폭변화가 큰 지역을 보여주는 것

피해 전 영상은 ’22년 8월 28일 촬영된 유럽우주국의 Sentinel-1A 위성으로 촬영 (12일 촬영주기)
피해 후 영상은 ’22년 9월 6일 촬영된 캐나다우주국에서 운영하는 지구관측위성인 RCM을 이용.

위성의 능동형 레이다 센서가 지표면에 마이크로파를 쏘고, 되돌아오는 신호(반사파)를 받아 영상을 생성

딥러닝 기반 이미지 합성

서로 다른 이미지 데이터셋에서 학습된 특징(feature)을 조합해 새로운 이미지를 생성

예: StyleGAN에서 A 이미지의 스타일과 B 이미지의 내용을 결합한 이미지 생성.

https://openaccess.thecvf.com/content_ICCV_2019/papers/Abdal_Image2StyleGAN_How_to_Embed_Images_Into_the_StyleGAN_Latent_Space_ICCV_2019_paper.pdf

또는 text나 symbol 수준 데이터로부터 이미지 생성하는 Text-to-Image(GAN/디퓨전 등)도 Image synthesis의 일종임.

추상적 심볼 정보를 기반으로 이미지 합성.
- 기존의 symbol data인 Text를 이미지로 변환하는 데이터 융합.
어떤 의미로는 Computer Graphics라고도 볼 수 있음.
- Text prompt를 이용한 가상의 장면/객체를 창조.

증강현실(AR, Augmented Reality) & 혼합현실(MR, Mixed Reality)

실제 카메라 영상과 3D 그래픽 데이터를 합성해 현실 위에 가상 객체를 자연스럽게 배치

예: AR 내비게이션 화살표, AR 게임 캐릭터가 실제 공간에 나타나는 화면.

https://www.medicaltimes.com/Main/News/NewsView.html?ID=1146000

참고- Symbol 과 Scene

Symbol:

텍스트, 수치, 파라미터 등과 같은 추상적이고 기호적인 형태의 데이터
직접적인 시각적 정보가 아닌 언어적/수학적 표현.

Scene:

3차원 공간에서의 물체들의 배치, 조명, 재질 등을 포함한 전체적인 장면 정보로,
물리적 현실이나 그것의 디지털 표현.

보다 자세한 scene에 대한 개념은
"아래의 같이 보면 좋은 자료들" 참고

Image Synthesis의 종류

Image Synthesis는 다음의 두 부류로 나뉨.

Scene/Image → 새로운 Image
- 멀티뷰 이미지로 새로운 각도의 이미지 생성(NeRF)
- GAN으로 스타일 전환 이미지 생성
- 입력으로 여러 이미지나 scene 정보를 받아, 새로운 이미지를 합성 생성
Symbol/Data → Image
- 텍스트나 파라미터(심볼 수준 데이터)로부터 이미지 생성하는 Text-to-Image(GAN/디퓨전 등)
- 추상적 심볼 정보를 기반으로 이미지 합성
- CG??

즉, Image Synthesis는 Scene/Image/Symbol을 다시 Image로 맵핑하는 역할 을 수행함.

CG와 Image Acquisition, CV 등과 비교하면 다음과 같음.

CG와 Image Acquisition: Scene → Image
CV: Image → Scene/Symbol
Image Synthesis: Scene/Image/Symbol → 새로운 Image

Computer Graphics와의 차이점

오늘날 이 두 분야는 기술적으로 매우 겹치고 있음.

앞서 애기한 Text-to-Image(GAN/디퓨전 등) 기술이 대표적인 예임.

일반적으로 구분되는 차이점은 다음으로 설명가능함.

Computer Graphics (CG): 가상의 3D 장면을 수학적 모델링과 렌더링을 통해 처음부터 창조하여 이미지로 만드는 분야.
Image Synthesis: 기존에 존재하는 현실 데이터(이미지, 센서 데이터, 텍스트 등)를 융합하고 변환하여 새로운 이미지를 생성하는 분야.

무에서 유를 만들면 CG,
기존 데이터들로 활용하면 Image Synthesis로 볼 수 있음.

같이 보면 좋은 자료들

2025.06.22 - [Programming/DIP] - [CV] Scene 과 Image: Computer Graphics 와 Computer Vision

[CV] Scene 과 Image: Computer Graphics 와 Computer Vision

Scene은 현실 세계 또는 가상의 3차원 공간에 존재하는 물체, 구조, 광원, 재질, 배경 등으로 이루어진 공간적·기하학적 정보의 집합체1. Scene 의 세부 종류와 Image:1-1. Physical Scene (물리적 장면): 현

dsaint31.tistory.com