전체 글

[LA] Eigenvalue and Eigenvector

특정 행렬 $A$는 linear transform을 의미함: $A\mathbf{x}$는 vector $\mathbf{x}$를 linear transform하는 것에 해당.$A$의 eigenvector와 eigenvalue는 $A$를 standard matrix로 하는 linear transform의 고유한 특성을 나타내는 요소임.Definition:Eigenvector:$n \times n$ 행렬 $A$를 linear transform으로 보았을 때,해당 linear transform을 통해 방향이 변화되지 않고 유지되면서크기(norm)만 Scalar Multiplication이 가해지는nonzero vector $\textbf{x}$.Eigenvalue:행렬 $A$가 linear transform으로 ..

[DIP] Karhunen–Loève Transform (KLT)

Karhunen–Loève 변환(Karhunen–Loève Transform, KLT)은 데이터를 주요 성분으로 표현하여 효율적으로 압축하는 차원 축소 기법임.KLT는 데이터의 고유벡터(eigenvector)들의 선형 결합(linear combination)으로 데이터를 표현하는 방식으로 최적의 압축 성능을 제공함.Hotelling 변환(Hotelling Transform)이라고도 불리며, KLT의 기저(basis)는 변환 대상인 데이터에 따라 달라지는 특성을 가짐.KLT는데이터의 공분산 행렬(covariance matrix)에 대한 고유값 분해(eigenvalue decomposition, EVD)를 통해 수행되며,주요 정보는 고유값(eigenvalue)이 큰 방향의 성분에 압축됨.이 때문에 KLT는데..

[Math] Basis

기저(Basis)는 vector space 또는 function space 에서 모든 요소를 나타내기 위해 필요한 최소한의 독립적인 요소 집합(vector set or function set).Basis (기저)는 벡터 공간 또는 함수 공간의 구조와 차원을 이해하는 데 필수적기저들의 선형 결합을 통해 공간의 모든 요소를 표현할 수 있음.Basis 의 조건Basis 가 되기 위해서는 다음 두 가지 조건을 만족해야 함.선형 독립성(Linear Independence):기저 벡터 집합의 각 벡터는 다른 벡터들의 선형 결합으로 나타낼 수 없어야 함.즉, 모든 기저 벡터가 서로 독립적.벡터 공간을 생성(Span):basis들의 선형 결합으로 벡터 공간의 모든 벡터를 표현할 수 있어야 함.이를 벡터 공간을 생성(s..

[Math] Inner Product (or Hermitian Inner Product, 내적)

Inner product (내적)은 vectoer space이나 function space에서 두 대상 간의 relationship(관계)를 나타내는 operation(연산). 다음의 세 가지 성질을 만족할 때 Inner Product라 부르며, 이를 통해두 벡터나 함수 간의simmilarity(유사성 ~ 사이각),orthogonality(직교성) 등을 평가할 수 있음.Inner Prodcut 의 성질 (or Definition)1. 선형성(Linearity):Inner product는 첫 번째 항에 대해 스칼라 곱에 대해 선형성을 가져야 합니다.$$\langle af + bg, h \rangle = a \langle f, h \rangle + b \langle g, h \rangle$$여기서$a$와 $..

[ML] Regularization

Regularization 이란?기계 학습과 딥러닝에서 Regularization은 모델이 overfitting(과적합)되지 않도록 도와주는 기법을 의미함.Overfitting(과적합)은 모델이 훈련 데이터에 너무 잘 맞아 새로운 데이터에 대해 일반화(generalization)가 잘되지 않는 상황을 의미함.Regularization을 통해 모델의 Degree of Freedom(자유도), 즉 모델이 표현할 수 있는 복잡성을 제어해 일반화 성능을 높일 수 있음.주요 Regularization 기법들1. L1 및 L2 RegularizationL1 Regularization: 가중치 값의 절댓값 합을 손실 함수에 추가하는 방식임. 모델의 일부 가중치가 0이 되게 만들어 희소성(sparsity)을 증가시키는..

[ML] Linear Classification Model: Hyperplane and Decision Boundary

1. Hyperplane과 Decision Boundary (결정 경계)의 기본 개념1-1. Hyperplane의 정의n차원 공간을 (n-1)차원으로 나누는 부분공간1차원: 점2차원: 직선 (1차원)3차원: 평면 (2차원)n차원: (n-1)차원의 평면1-2. Decision Boundary (결정 경계)서로 다른 클래스를 구분하는 경계Classifier의 출력이 바뀌는 지점들의 집합: binary classification의 경우 0.5의 확률에 해당.Decision Boundary의 선형/비선형 여부가 Classfifier의 핵심 특성을 결정2. Decision Boundary(결정 경계)의 선형성과 Hyperplane2-1. Linear Decision BoundaryHyperplane 형태의 결정 ..

[SS] Shannon-Nyquist Sampling Theorem

신호의 최대 주파수보다 최소 2배 이상의 샘플링 주파수로 샘플링하면 원래 신호를 완벽하게 복원할 수 있다는 Theorem $$f_\text{sampling} \ge 2f_\text{max}$$where$f_\text{sampling}$ : sampling frequency. sampling rate. Nyquist rate.$f_\text{max}$ : 신호의 최대 주파수.Harry Nyquist 통신 이론에서 특정 대역폭(bandwidth)을 가진 아날로그 신호를 디지털화 (digitization)하기 위해서는최소한 해당 신호의 대역폭의 두 배 이상의 샘플링 주파수가 필요하다는 사실을 발견이때문에 최대 대역폭의 2배인 샘플링 주파수를 Nyquist Sampling Rate (or Sampling Rat..

[CV] 간단한 Camera의 역사: imaging 의 역사?

Camera 이전?2024.10.09 - [Programming/DIP] - [CV] Camera Obscura and Camera Lucida [CV] Camera Obscura and Camera LucidaCamera ObscuraCamera Obscura는 "어두운 방 또는 어두운 상자"와 “pin hole”에 기반한 광학기기임.빛의 ”직진성“을 이용한 초기의 원시적인 광학 기기이며 오늘날 사진기의 전신에 해당함.이 장치는 pdsaint31.tistory.com1827년: Heliography (세계최초의 영구적 사진기술)등장니세포르 니엡스(Nicéphore Niépce)는 세계 최초의 영구적인 사진 "View from the Window at Le Gras"를 1826년 또는 1827년에 촬영...

[CV] Camera Obscura and Camera Lucida

Camera ObscuraCamera Obscura는 "어두운 방 또는 어두운 상자"와 “pin hole”에 기반한 광학기기임.빛의 ”직진성“을 이용한 초기의 원시적인 광학 기기이며 오늘날 사진기의 전신에 해당함.이 장치는 pinhole (매우 작은 지름의 구멍)을 통해”외부의 빛“을 어두운 방이나 상자 안으로 투사(perspective projection) 하여반대편 평면에 뒤집힌 어둡지만 뚜렷한 상(image)을 형성함.Camera Obscura는 중세 시대부터 예술가들이 정확한 원근법을 얻기 위해 사용됨.이는 이후 사진술의 중요한 토대를 이룸."Obscura"는 라틴어로 "어두운"이라는 뜻의 단어임.해당 장치가 어두운 방이나 상자 안에서 이미지를 형성하는 점을 의미함.Camera LucidaCame..

[CV] Dynamic Range vs. Contrast

Dynamic Range와 Contrast는 이미지나 디스플레이 시스템 및 이미지 센서의 Brightness 특성을 설명하는 데 사용되는 관련된 용어.2024.09.05 - [Programming/DIP] - [CV] Brightness vs. Intensity [CV] Brightness vs. Intensity1. 강도(Intensity):intensity는 픽셀(Pixel)의 photodiode 등에서 측정된 pixel에서의 빛의 양을 나타내는 (물리적인) 측정치임.이는 객관적으로 측정 가능하며, 그레이스케일(Grayscale) 이미지에서는 흔히 0에dsaint31.tistory.com하지만 다음과 같은 차이점을 가짐.1. Dynamic Range (동적 범위):이미지나 디스플레이 시스템이 표현할 ..