[Math] Entropy 란 (평균정보량, 정보량의 기댓값)
·
.../Math
Entropy란? Random variable에서 기대되는 정보량 (or 정보량의 기댓값, 평균 정보량). 해당 random variable을 encoding하는데 필요한 평균정보량(단위 bit)의 lower bound. 정의식은 다음과 같음. $$H(X)=H(p)=-\sum_{i=0}^n p(x_i)\ln{p(x_i)}$$ where $p$ : random variable $X$의 probability distribution $n$ : random variable $X$가 가질 수 있는 값의 종류. $p(x_i)$ : random variable $X$가 $x_i$라는 값을 가질 확률. Entropy는 일종의 Transcendental function임. 아예 정보량에 대한 개념이 없는 경우 아래에 있..
[Math] Cross Entropy
·
.../Math
Cross Entropy란두 probability distribution $p$, $q$ 사이의 dissimilarity(차이)를 정량화하는 지표 로 사용됨.엄밀하게는 dissimilarity는 KL-Divergence로 구해야 하나, Cross entropy로 해도 큰 문제없기 때문임.다음 참조 : 2022.05.12 - [.../Math] - Kullback-Leibler Divergence정의식은 다음과 같음.$$H(p,q)=-\sum^N_{i=1}p(x_i)\log{q(x_i)}$$where$p$ : original probability distribution (or ideal probability distribution). 우리가 예측하거나 맞추고자 하는 대상 (label).$q$ : 우리가 학..
[Math] Kullback-Leibler Divergence
·
.../Math
어떤 random variable $x$ (확률변수 $x$)에 대해 원래의 Probability Distribution $p(x)$와 Predicted Probability Distribution $q(x)$ (or Approximated Probability Distribution)가 있을 때, 각 경우의 entropy에 대한 difference가 바로 KL-Divergence임. Kullback-Leibler Divergence의 정의식은 다음과 같음. $$\begin{aligned}D_{KL}(p||q)&=\sum^N_{i=1}p(x_i)\left(\log{p(x_i)}-\log{q(x_i)}\right)\\&=\left(-\sum^N_{i=1}p(x_i)\log{q(x_i)}\right) - \l..
[Physics] Example : Torque
·
.../Physics
다음과 같이, CM 과 C를 잇는 직선이 지표면과 수직을 이루고 있고 힘의 평형상태를 이루고 있다고 할 때, Hip Abductor Force(HAF)는 얼마가 되는가? 간단히 살펴보기 위해서, CM에 전체 BW가 가해진다고 가정 (신체의 다른 영향 무시...) 중력가속도의 값을 $10m/s^2$ 으로 한다. 생각해 볼 것. 이 문제에 해당하는 Lever(지레) 의 종류는 무엇인가? Mass와 Weight의 관계, Torque의 정의를 생각해 볼 것. cross product 계산 및 net torque 계산방법을 고려. 풀이 Torque $\vec{\tau}=\vec{r}\times \vec{F}$ 를 이용하면 HAF에 의해선 반시계방향(CCW)회전이, BW에 의해선 시계방향(CW)회전이 발생함. 이 ..
[Physics] Centrifugal Force and Artificial Gravity.
·
.../Physics
링 형태의 우주 정거장이 원의 중심으로 회전을 한다면, Centrifugal Force(원심력)으로 인공 중력을 만들 수 있음. 이 때 angular speed가 $1\text{rpm}$이라 할때, 지구와 같은 인공 중력을 만들려면 링의 반경이 얼마나 되어야 할지를 구해보자. (계산의 편의를 위해 중력가속도를 $10m/s^2$이라 하자.) 우선 angular speed는 다음과 같음. $$\omega = 1 \text{rpm} = \frac{2\pi}{60}$$ 그러면 tangential speed는 다음과 같음. $$v_\text{tangential}=r\omega=r\frac{2\pi}{60}$$ 지구의 중력은 다음과 같으므로 정거장 내에 있는 이들이 겪는 원심력의 크기를 알 수 있음. $$f_\te..
[Physics] Moment of inertia (관성모멘트)
·
.../Physics
회전운동을 유지하려고 하는 회전 관성의 정도를 정량화한 scalar quantity. rotational inertia(회전관성)이라고 불림. inertia의 정도는 mass에 의해 결정되므로 moment of mass라고 할 수 있음. (실제로 2차 모멘트임.) mass가 translational motion에서 정지상태의 inertia 정도를 결정하는 것처럼, Moment of inertia는 rational motion에서 mass에 해당. 회전축과 물체의 mass간의 거리가 클수록 rotational inertia가 큼. (The greater the distance between an object's mass concentration and the axis, the greater the rota..