Forward-mode AutoDiffComputational graph (계산 그래프)를 입력에서 출력 방향으로 순회하며 미분값을 전파하는 방법연산 node 마다 미리 정의된 local derivative와 chain rule을 적용한 번의 순회로 하나의 입력 방향에 대한 미분을 계산미분값을 근사하지 않으므로 finite difference보다 정확함:symbolic differentiation 또는 dual number를 사용.Forward-mode AutoDiff 는 입력이 적고 출력이 많을 때 효율적임. 문제는ANN 등의 경우, 입력이 많고, 출력이 적은 모델이 일반적임.이 같이 입력이 많으면 전체 gradient 계산을 위해 여러 번 순회해야 함Symbolic differentiation 방식원..

이글을 보기전에 다음 동영상을 보길 권함:https://youtu.be/-ZS_zFg4w5k?si=_WvPsGJlw_LUm2_j0. Turing Machine과 계산 가능성 (computability) Turing Machine (튜링 기계)Alan Turing 이 1936년에 제안한추상적인 계산 모델 (abstract model of computation) 임.실제 computer 의 물리적 구조를 묘사하기 위한 장치가 아니라, 다음과 같은 질문을 수학적으로 다루기 위해 제안됨.어떤 문제를 algorithm 으로 계산할 수 있는가?더보기Algorithm (알고리즘)어떤 문제를 해결하기 위해 수행해야 할 유한한 단계의 명확한 절차임.각 단계에서 무엇을 해야 하는지가 명확하게 정해져 있어야 함.같은 입력에..

Population riskPopulation risk는 실제 데이터 생성 분포 전체에서 모델이 평균적으로 얼마나 큰 loss를 발생시키는지를 가리킴.입력 $X$와 정답 $Y$가 어떤 확률분포에서 발생하고,모델 $f$의 예측 오류를 loss function $L(Y,f(X))$로 나타낸다면population risk는 다음과 같이 정의됨:$$R(f)=E[L(Y,f(X))]$$Population risk는 loss의 expectation으로 정의 되기 때문에 expected risk라고도 흔히 불림.여기서 expectation은 관측된 sample에 대한 평균이 아니라,실제 데이터가 생성되는 population distribution에 대한 평균 을 의미한다.따라서 population risk는 특정 tr..

Linear Attenuation CoefficientLinear Attenuation Coefficient의 정의는 다음과 같음:$$\mu=\frac{n/N_{\mathrm{in}}}{\Delta x}$$$N_{\mathrm{in}}은$ 두께 $\Delta x$인 얇은 물질층에 입사하는 광자 수이고,$n$은 해당 층에서 소실되는 광자 수임.Fundamental Photon Attenuation Law즉 다음이 성립:$$n=\mu N_{\mathrm{in}}\Delta x$$ 얇은 층을 통과한 후의 광자 수를 N'이라 하면 다음과 같음:$$N'=N_{\mathrm{in}}-n$$ 따라서 광자 수의 변화량은 다음과 같음.$$\begin{aligned}\Delta N&=N'-N_{\mathrm{in}} \\..

Electric Potential(전위):전하량 q인 전하가 위치 r에서 가지는 electric potential energy가 U일 때, 그 위치의 electric potential은 다음과 같음:$$V=\frac{U}{q}$$$V$: 위치 $r$의 electric potential$U$: 전하 $q$가 위치 $r$에서 가지는 electric potential energy$q$: 위치 $r$에 놓인 전하의 전하량 electric potential: 어떤 위치에 charge(전하)를 놓았을 때 electric poetnetial energy(전위에너지)를 가질 수 있는 정도Electric Potential Difference(전위차):두 위치 A와 B의 electric potential 차이$$\Delt..

Monte CarloMonte Carlo는random sample을 반복 생성하여expectation, probability, integral 등을numerical approximation하는 방법의 총칭.다음과 같이 목표분포 $\pi$에서 직접 sampling이 가능한 경우:$$X_1, X_2, \ldots, X_N\overset{\mathrm{IID}}{\sim}\pi$$$X_i$: $i$번째 sample$i$: sampling index$N$: 전체 sample 수$\pi$: target distributionIID(independent and identically distributed) 이므로 다음을 만족: 각 $X_i$는동일한 target distribution에서 생성되며서로 independe..