위 그림의 원본은 https://www.researchgate.net/figure/Examples-of-three-stages-of-ULMFiT-training-a-training-on-general-domain-information_fig2_384502200 임. Averaged Stochastic Gradient Descent Weight-Dropped 3-Layer LSTM (AWD 3-Layer LSTM) 의 구조를 사용.상단의 learning rate에 대한 그래프들이 좌/우로 있는데,왼쪽은 layerindex $l$이 증가(upstream layer)할수록 학습률이 큼(Discrimitive Learning Rate)을 의미하고오른쪽은 학습이 진행($t$가 증가)될수록 학습률이 초기엔 증가하다..

가족 구성원들이 돌아가면서...막내는 1월1일을 경계로 독감 A,B 모두 획득하시는 쾌거(??)를...휴일에 약먹고 자는 건 ㅠㅠ자고나니 1월 2일이네... ㅠㅠ

개인적으로 실적지상주의를 정말 두려워하는터라... 능력없이 은혜로 사는 빚진 자임을 항상 느끼고 있어서,최선을 다한 경우엔 최대한 고려를 하려고 하는데... 서있라고 하면 앉고 싶고앉으면 눕고 싶고...누으면 자고 싶은게 사람이라고... 정말 어디까지 막 나갈 수 있는지를 경쟁적으로 보여주는 한 학기였음...여기서 더 편의를 봐주는 건 직무유기 같은데... ㅠㅠ ==;; 잔소리를 해봐야 그걸 들어야 하는 사람들은 아예 없는 경우... 몸도 아픈데... 정신적으로도 힘들다.

0. Laplace Transform의 정의$$\mathcal{L}[x(t)]= \int_{0^-}^{\infty} x(t) e^{-st} dt$$1. 변환할 함수인 shifted impulse 대입$$x(t) = \delta(t-a)$$대입하면$$X(s)=\int_{0^-}^{\infty} \delta(t-a) e^{-st} dt$$ $\delta$의 위치가 적분 범위 안에 있는지 확인해야 적분의 값이 구해지는데, Laplace 적분의 구간은 다음과 같음:$$0^- \le t 즉, $a>0$이면 $\delta(t−a)$는 이 구간 안에 존재하므로, 적분값은 0이 되지 않음.2. $\delta$의 sifting 성질을 적용하기 위한 준비Dirac delta의 기본 성질: sifting property ..

z-Transform 은 Laplace Transform의 Discrete Version임 이 글은 이를 유도해본다.1. 연속시간 Laplace Transform의 기본 구조연속시간 신호 $x(t)$에 대해 Lapalce Transform은 다음과 같음.$$X(s) = \int_{0}^{\infty} x(t) e^{-st} dt$$복소지수항 $e^{-st}$ 을 사용함.2. 샘플링을 통한 이산신호 표현샘플링 주기 $T$에서 얻는 이산신호는 $x[n] = x(nT)$ 로 정의됨이산신호를 연속시간에서 표현하면 shifted impulse들의 가중합 이 됨.$$x_s(t) = \sum_{n=-\infty}^{\infty} x[n]\delta(t-nT)$$3. 샘플링된 신호의 Laplace Transform 계..

Overfit이란ML에서 모델이 주어진 훈련데이터에 너무 과하게 적응(adapt) 하여Training dataset에서는 매우 좋은 성능을 보이지만,Unseen data (= validation/test set)에서는 성능이 급격히 떨어지는 현상 을 의미함.Model이 Training dataset에 지나치게 맞추어져서 generalization performance가 떨어지는 경우임.Bias–Variance 관점Overfit의 경우,Training dataset에서는 performance measure가 매우 좋기 때문에 bias가 매우 낮고,대신 variance가 매우 커지는 특징을 보임.즉,bias 낮음 = training 성능은 좋다variance 높음 = 데이터 샘플이 조금만 바뀌어도 예측 결과..