Image Synthesis

정의

서로 다른 영상 데이터나 영상이 아닌 데이터 (symbol, scene)를 결합하여 새로운 이미지를 생성:

데이터 융합을 통한 새로운 시각화가 목적으로,
현실에서 수집된 데이터의 정보성을 유지하거나,
기존 이미지들로부터 새로운 시점을 만드는 것이 목표.

 

다음의 예를 들 수 있음.

• PET/CT, MRI/CT
  • 다른 modality 데이터를 합성하여 해부학 + 대사 정보를 동시에 제공
• 여러 시점의 2D 이미지로 새로운 각도의 이미지를 생성
  • multi-view synthesis
  • Neural Radiance Fields (NeRF)
• 딥러닝 기반으로 두 이미지의 스타일과 내용을 결합한 새로운 이미지 생성
  • Generative Adversarial Network (GAN)
• AR에서 실제 영상과 가상 그래픽 데이터를 결합하여 하나의 영상으로 표시

Image Synthesis는
기존 데이터를 기반으로 “정보를 융합”하고,
Computer graphics 는
가상의 장면을 “창조”하는 데 초점

 

 

---

의료 영상 (Medical Imaging)

서로 다른 촬영 모달리티 데이터를 결합해 새로운 영상을 생성

예: PET(대사 정보) + CT(해부학 정보) → PET/CT 영상

• 대사활동과 해부학적 정보를 동시에 보여주는 합성 이미지.

https://www.neurologica.com/blog/pet-scan-vs-ct-scan

---

멀티뷰 이미지 합성 (Multi-view Synthesis)

여러 각도에서 촬영한 2D 사진들을 결합해 새로운 각도의 이미지를 생성

예: 스마트폰 파노라마 모드, NeRF(Neural Radiance Fields)

• 3D 공간의 새로운 시점 생성.

https://developer.nvidia.com/blog/getting-started-with-nvidia-instant-nerfs/

---

위성/항공 영상 합성

다른 시기에 촬영한 위성 영상이나 서로 다른 센서(광학, 적외선) 데이터를 결합

https://www.koreascience.kr/article/JAKO202331439049945.page

 

• 흰색 원을 통해 하천 폭이 증가하여 피해 후 영상에서 탐지된 수체인 빨간색 부분이 많은 것을 확인할 수 있음.
• 흰색 원형은 강한 폭우를 동반한 태풍 발생 이후 형산강과 냉천의 강폭변화가 큰 지역을 보여주는 것

피해 전 영상은 ’22년 8월 28일 촬영된 유럽우주국의 Sentinel-1A 위성으로 촬영 (12일 촬영주기)
피해 후 영상은 ’22년 9월 6일 촬영된 캐나다우주국에서 운영하는 지구관측위성인 RCM을 이용.

---

딥러닝 기반 이미지 합성

서로 다른 이미지 데이터셋에서 학습된 특징(feature)을 조합해 새로운 이미지를 생성

 

예: StyleGAN에서 A 이미지의 스타일과 B 이미지의 내용을 결합한 이미지 생성.

https://openaccess.thecvf.com/content_ICCV_2019/papers/Abdal_Image2StyleGAN_How_to_Embed_Images_Into_the_StyleGAN_Latent_Space_ICCV_2019_paper.pdf

 

또는 text나 symbol 수준 데이터로부터 이미지 생성하는 Text-to-Image(GAN/디퓨전 등)도 Image synthesis의 일종임.

• 추상적 심볼 정보를 기반으로 이미지 합성.
  • 기존의 symbol data인 Text를 이미지로 변환하는 데이터 융합.
• 어떤 의미로는 Computer Graphics라고도 볼 수 있음.
  • Text prompt를 이용한 가상의 장면/객체를 창조.

---

증강현실(AR, Augmented Reality) & 혼합현실(MR, Mixed Reality)

실제 카메라 영상과 3D 그래픽 데이터를 합성해 현실 위에 가상 객체를 자연스럽게 배치

예: AR 내비게이션 화살표, AR 게임 캐릭터가 실제 공간에 나타나는 화면.

https://www.medicaltimes.com/Main/News/NewsView.html?ID=1146000

---

 

참고- Symbol 과 Scene

Symbol:

• 텍스트, 수치, 파라미터 등과 같은 추상적이고 기호적인 형태의 데이터
• 직접적인 시각적 정보가 아닌 언어적/수학적 표현.

Scene:

• 3차원 공간에서의 물체들의 배치, 조명, 재질 등을 포함한 전체적인 장면 정보로,
• 물리적 현실이나 그것의 디지털 표현.

보다 자세한 scene에 대한 개념은
"아래의 같이 보면 좋은 자료들" 참고

---

Image Synthesis의 종류

Image Synthesis는 다음의 두 부류로 나뉨.

1. Scene/Image → 새로운 Image
   • 멀티뷰 이미지로 새로운 각도의 이미지 생성(NeRF)
   • GAN으로 스타일 전환 이미지 생성
   • 입력으로 여러 이미지나 scene 정보를 받아, 새로운 이미지를 합성 생성
2. Symbol/Data → Image
   • 텍스트나 파라미터(심볼 수준 데이터)로부터 이미지 생성하는 Text-to-Image(GAN/디퓨전 등)
   • 추상적 심볼 정보를 기반으로 이미지 합성

즉, Image Synthesis는 Scene/Image/Symbol을 다시 Image로 맵핑하는 역할 을 수행함.

 

CG와 Image Acquisition, CV 등과 비교하면 다음과 같음.

• CG와 Image Acquisition: Scene → Image
• CV: Image → Scene/Symbol
• Image Synthesis: Scene/Image/Symbol → 새로운 Image

---

Computer Graphics와의 차이점

오늘날 이 두 분야는 기술적으로 매우 겹치고 있음.

• 앞서 애기한 Text-to-Image(GAN/디퓨전 등) 기술이 대표적인 예임.

일반적으로 구분되는 차이점은 다음으로 설명가능함.

• Computer Graphics (CG): 가상의 3D 장면을 수학적 모델링과 렌더링을 통해 처음부터 창조하여 이미지로 만드는 분야.
• Image Synthesis: 기존에 존재하는 현실 데이터(이미지, 센서 데이터, 텍스트 등)를 융합하고 변환하여 새로운 이미지를 생성하는 분야.

무에서 유를 만들면 CG,
기존 데이터들로 활용하면 Image Synthesis로 볼 수 있음.

---

같이 보면 좋은 자료들

2025.06.22 - [Programming/DIP] - [CV] Scene 과 Image: Computer Graphics 와 Computer Vision

[CV] Scene 과 Image: Computer Graphics 와 Computer Vision