컴퓨터에서 real number의 representation은 제한된 비트로 인한 근사를 피할 수 없고 때문에 이같은 근사로 인해 에러 또는 오차가 발생한다 관련 자세한 내용은 다음을 참고. https://bme808.blogspot.com/2022/11/ss-round-off-error-vs-truncation-error.html/ SS : Round-off Error vs. Truncation Error Round-off Error 컴퓨터에서 수치를 저장(혹은 표현)하는 데이터 타입의 한계(제한된 bit수)로 인한 에러. 제한된 비트에 수치를 저장하기 때문에 발생하며 Finite word-length effect, Finite wor... bme808.blogspot.com 다음은 연립일차방정식의 예..

IP Address를 볼 때, 다음과 같이 slash 이후 십진수의 숫자 (아래의 붉은색 부분)가 놓이는 경우가 있음. 192.168.1.10/24 이는 IP Address (IPv4)를 CIDR (Classless Inter-Domain Routing) 표기법으로 기재한 것이며, 위의 예에서 "/24" 는 바로 subnet mask를 의미하는 비트수임. "/24"의 경우 왼쪽부터 1의 값을 가지는 비트수가 24bit임을 의미하며, 이는 다음과 같은 subnet mask임. 이진수 표기: 11111111.11111111.11111111.00000000 십진수 표기: 255.255.255.0 이는 해당 IP Address가 할당된 장비의 subnet 내의 모든 장비들이 3개의 octets (=24bit)를..

Scikeras : Keras로 구현된 모델을 Scikit-Learn의 Estimator로 변환해주는 Wrapper를 제공. Keras로 구현된 모델을 Scikit-Learn의 GridSearchCV 또는 RandomizedSearchCV 등과 함께 Pipeline 등에서 사용가능하도록 해주는 Wrapper 를 다음의 Github Repository에서 제공함. https://github.com/adriangb/scikeras GitHub - adriangb/scikeras: Scikit-Learn API wrapper for Keras. Scikit-Learn API wrapper for Keras. Contribute to adriangb/scikeras development by creating a..

David Wolpert 와 William Marcready의 1997년 논문 "No Free Lunch Theorems for Optimzation"에서 제시됨. NFLT라는 abbreviation으로도 많이 사용된다. 이 논문에서 기술한 내용을 그대로 살펴보면 다음과 같다. We have dubbed the associated results “No Free Lunch” theorems because they demonstrate that if an algorithm performs well on a certain class of problems then it necessarily pays for that with degraded performance on the set of all remaining ..

시계열 데이터라고 불리는 time series data는 쉽게 생각해서 일정한 시간 간격으로 배치된 seqence (수열) 을 가르킨다. 이는 엄밀하게 애기하면 discrete time series data라고 생각할 수 있다. continuous time series data의 경우엔 sampling interval $T_0=0$인 경우를 가르킨다. tiem series data는 순서가 의미를 가지는 sequential data의 일종이다. 2023.07.21 - [.../Math] - [Math] Sequence (수열) and Series (급수) [Math] Sequence (수열) and Series (급수) Sequence 수열, 열 이라고 불림. numbers나 objects 들이 순서를 ..

Adagrad 이후의 Adam등에서는 Adaptive Learning Rate가 적용되면서 간단하게 하나의 Learning rate 값이 아닌 Weight에 따라 다른 속도로 decay되는 처리가 이루어진다. 하지만 초기에 준 inital value에 해당하는 Learning rate를 기반으로 전체적으로 적용되는 Learning rate가 있고, 여기에 이전 epoch들에서의 gradient의 변화 정도 등을 고려한 처리가 이루어지기 때문에 현재 epoch에서의 일종의 decayed learning rate가 존재한다고 봐도 된다. 예전의 Keras의 경우엔 optimizer.lr 등으로 현재의 learning rate를 구해왔으나, decay factor에 의해 epoch마다 값이 달라진 learni..