IP Address를 볼 때, 다음과 같이 slash 이후 십진수의 숫자 (아래의 붉은색 부분)가 놓이는 경우가 있음. 192.168.1.10/24 이는 IP Address (IPv4)를 CIDR (Classless Inter-Domain Routing) 표기법으로 기재한 것이며, 위의 예에서 "/24" 는 바로 subnet mask를 의미하는 비트수임. "/24"의 경우 왼쪽부터 1의 값을 가지는 비트수가 24bit임을 의미하며, 이는 다음과 같은 subnet mask임. 이진수 표기: 11111111.11111111.11111111.00000000 십진수 표기: 255.255.255.0 이는 해당 IP Address가 할당된 장비의 subnet 내의 모든 장비들이 3개의 octets (=24bit)를..

Scikeras : Keras로 구현된 모델을 Scikit-Learn의 Estimator로 변환해주는 Wrapper를 제공. Keras로 구현된 모델을 Scikit-Learn의 GridSearchCV 또는 RandomizedSearchCV 등과 함께 Pipeline 등에서 사용가능하도록 해주는 Wrapper 를 다음의 Github Repository에서 제공함. https://github.com/adriangb/scikeras GitHub - adriangb/scikeras: Scikit-Learn API wrapper for Keras. Scikit-Learn API wrapper for Keras. Contribute to adriangb/scikeras development by creating a..

David Wolpert 와 William Marcready의 1997년 논문 "No Free Lunch Theorems for Optimzation"에서 제시됨. NFLT라는 abbreviation으로도 많이 사용된다. 이 논문에서 기술한 내용을 그대로 살펴보면 다음과 같다. We have dubbed the associated results “No Free Lunch” theorems because they demonstrate that if an algorithm performs well on a certain class of problems then it necessarily pays for that with degraded performance on the set of all remaining ..

시계열 데이터라고 불리는 time series data는 쉽게 생각해서 일정한 시간 간격으로 배치된 seqence (수열) 을 가르킨다. 이는 엄밀하게 애기하면 discrete time series data라고 생각할 수 있다. continuous time series data의 경우엔 sampling interval $T_0=0$인 경우를 가르킨다. tiem series data는 순서가 의미를 가지는 sequential data의 일종이다. 2023.07.21 - [.../Math] - [Math] Sequence (수열) and Series (급수) [Math] Sequence (수열) and Series (급수) Sequence 수열, 열 이라고 불림. numbers나 objects 들이 순서를 ..

Adagrad 이후의 Adam등에서는 Adaptive Learning Rate가 적용되면서 간단하게 하나의 Learning rate 값이 아닌 Weight에 따라 다른 속도로 decay되는 처리가 이루어진다. 하지만 초기에 준 inital value에 해당하는 Learning rate를 기반으로 전체적으로 적용되는 Learning rate가 있고, 여기에 이전 epoch들에서의 gradient의 변화 정도 등을 고려한 처리가 이루어지기 때문에 현재 epoch에서의 일종의 decayed learning rate가 존재한다고 봐도 된다. 예전의 Keras의 경우엔 optimizer.lr 등으로 현재의 learning rate를 구해왔으나, decay factor에 의해 epoch마다 값이 달라진 learni..

logistic function과 함께 sigmoid의 대표적인 함수가 바로 $\text{tanh}$임.값이 $[-1,1]$의 range를 가지며, logistic에 비해 기울기가 보다 급격하기 때문에 좀 더 빠른 수렴속도를 보임.하지만, sigmoid의 일종이기 때문에 gradient vanishing에 자유롭지 못함.logistic보단 그래도 양호한 편이나sigmoid의 일종이기 때문에, 양 끝단에 갈 경우 기울기가 0에 수렴.RNN의 activation function으로 많이 이용된다.Exploding gradient가 쉽게 발생하는 RNN(Recurrent Neural Network)에서는 ReLU가 적합하지 않음.Weight matrix의 eigenvalue (특히, max eigenvalue..