Matrix-Vector MultiplicationLinear TransformMatrix와 vector의 곱은 일종의 Linear Transformation으로 볼 수 있음.곱해지는 Vector를 Matrix가 나타내는 Linear Transformation 처리하는 것으로 볼 수 있음.Matrix $A$ 와 vector $\mathbf{x}$ 의 곱 $\mathbf{y} = A\mathbf{x}$ 를 linear transform으로 직관적인 해석이 가능함.https://dsaint31.tistory.com/698#Linear%20Transformation-1-2 [LA] Linear TransformationTransformation $\mathbb{R}^n$ (domain) 에서 $\mathbb{..

Categorical Distribution일반적으로 multi-class classification (다중분류문제)에서 사용되는 확률분포.Categorical Random Variable$K$개의 정수값 중 하나를 가질 수 있는 확률변수.이때 가질 수 있는 $K$개의 정수값은 각각 class (또는 category) 에 해당함. → $K=2$인 경우, Bernoulli Random Variable과 동일.one-hot encoding을 사용하여 sample value가 vector로 나옴 → moment들도 모두 vector임.대표적으로 주사위 던지기를 들 수 있고, 이때 $K=6$ 임.주사위 예$x=1 \rightarrow \textbf{x}=(1,0,0,0,0,0)$$x=2 \rightarrow \..

Multinomial Distribution$K$ 개 class인 Categorical Variable의sample을 $N$개 얻을 때의각각의 class $i$가 각각 $x_i$번 나오는 random variable $\textbf{X}$의 이산 확률 분포. 달리 말하면 $\textbf{x}$가 $(x_1, x_2, \cdots, x_K)$가 되는 확률의 분포를 가르킴. 수식으로 표현할 경우 다음과 같음.$$\textbf{X} \sim \text{Mul}(x;N,\mu)$$class가 $K$인 multinomial trial을 1회 수행한 경우의 확률변수는 Categorical distribution을 따른다고 하며,class가 $K$인 multinomial trial을 $N$회 수행한 경우의 확률변수는..

Probability DistributionProbability Distribution은 특정 random variable(확률 변수)이 취할 수 있는 각각의 값에 대한 확률을 나타내는 분포임.Probability Distribution Function으로 기술되며,random variable이 어떤 값을 얼마나 자주 취하는지를 나타냄.이를 통해 random variable의 특성과 동작을 이해할 수 있음.Definition of PDFrandom variable $X$가 가질 수 있는 특정한 value $x$와 이 $x$에 대응하는 확률을 매핑하고 있는 function.PDF는 abbreviation of Probability Distribution Function.pdf는 probability den..

Partition: Mutually Exclusive and Exhaustive Partition을 이해하기 위해선 event들의 관계를 나타내는 용어인 Mutually Exclusive와 Exhaustive 를 먼저 알아야 함. Mutually Exclusive(상호 배타적) Mutually Exclusive Event란 두 개 또는 그 이상의 event가 동시에 발생할 수 없는 관계를 가르킴. 즉, 한 이벤트의 발생이 다른 이벤트의 발생을 완전히 배제시킴. 예를 들어, 동전을 한 번 던졌을 때 앞면이 나오는 event와 뒷면이 나오는 event는 mutually exclusive. 한 번의 동전 던지기에서 앞면과 뒷면이 동시에 나올 수 없음. 수학적으로, 두 이벤트 A와 B가 상호 배타적일 경우, 그..

Multiplication Law (곱셈법칙) : intersection 확률이 0이 아닌 2개의 event $A$, $B$에 대해, $$ p(A,B)=p(A\cap B)=p(A)p(B|A)=p(B)p(A|B), (\text{if } p(A)>0,p(B)>0) $$ $p(A,B)$를 흔히 joint probability(결합확률, 연접확률)이라고 부름. Joint probability vs. Conditional probability 술(A)을 마시고 사고(B)가 일어날 확률 ← joint probability 술(A)를 마셨을 때 사고(B)가 일어날 확률 ← conditional probability Addition Law (덧셈법칙) : union 2개의 event $A,B$에 대해 합사건의 확률 (..