[Math] Exponential Moving Average (EMA)

Definition

moving average (=rolling average or running average)

• 데이터 포인트를 분석하기 위한
• 전체 데이터 집합에서 연속적인 부분 집합들의 평균을 계산하는
• 통계적 방법이다.

일반적으로 MA는 다음과 같이 모든 데이터 동일한 가중치를 부여한다:

$$\text{MA}_n = \frac{1}{n} \sum_{i=0}^{n-1} x_{t-i}$$

 

MA 중에서도 EMA는

• 최근의 데이터에 더 큰 가중치를 주고
• 오래된 데이터일수록 지수적으로(exponentially) 감소하는 가중치를 적용하여
• 계산하는 이동 평균 임.

$$\begin{aligned}\text{EMA}_n &= \sum_{i=0}^{\infty} (1-\beta) \beta^i x_{t-i} \\ &= (1-\beta) x_t + \beta \text{EMA}_{t-1}\end{aligned}$$

주의: EMA는 Auto-regressive model임.

 

2024.11.23 - [.../Signals and Systems] - [SS] Discrete System Representation: DE, MA, AR, ARMA, ARIMA, SARIMA

[SS] Discrete System Representation: DE, MA, AR, ARMA, ARIMA, SARIMA

---

---

The EMA $y$ for a series $x$ may be calculated recursively:

$$
\begin{aligned}y_{t}&={\begin{cases}x_{1},&t=1 \\ (1-\beta) \cdot x_{t}+ \beta \cdot y_{t-1},&t>1\end{cases}} \\ &={\begin{cases}x_{1},&t=1 \\ \alpha \cdot x_{t}+(1-\alpha)\cdot y_{t-1},&t>1\end{cases}}\end{aligned}
$$

Where:

• $x_t$ is the value at a time $t$.(시간 간격) <= 즉, 가장 최근 데이터.
• $y_t$ is the value of the EMA at any time $t$. <= $t$ 에서의 EMA
• The coefficient $\beta$ represents decay / momentum / memory coefficient between 0 and 1.
  • $\beta$ is called a exponetial decay (or momentum) constant between 0 and 1. (DL등에선 0.9 수준)
  • $\alpha$ : update rate ($1-\beta$)
  • A higher $\alpha$ discounts older observations faster. => 즉, $\alpha$가 낮을수록 ($\beta$가 높을수록), EMA곡선이 smooth해짐.
  • 일반적 time series analysis 로 $\alpha=\frac{2}{1+N}$ (or $\beta = 1-\frac{2}{1+N}=\frac{N-1}{1+N}$)을 취하는데
    (전자를 주로 취함),
  • 여기서 $N$은 Simple Moving Average 등을 계산할 때의 span, 즉, EMA를 계산할 때 사용하는 subset의 크기(effective window)로 간주.
  • As a rule of thumb, EMA는 최근 $\frac{1}{\alpha}=\frac{1}{1-\beta}$개의 sample에 대한 평균 (=averaging over window of $\frac{1}{\alpha}$ samples)으로 보기도 함:effective window

---

이름의 유래

Exponentially Weighted Moving Average는
MA에서 특정 데이터의 영향(weight)이 Exponentially decay가 되는 데에서 이름이 유래됨. :

• EMA는 이 전의 값(위 식의 $y_{t-1}$ )에 비례($\beta$)하여
• 현재의 EMA에 영향을 주기 때문에 Exponential decay가 됨.

이름과 다르게
EMA는
MA 모델이 아닌
AR모델에 해당함.

---

Mathematical Proof of EMA's Exponential Decay:
A Differential Equation Approach

$$
\begin{aligned}Y_{t+1}-Y_t &= -\beta Y_t \\ Y' &=-\beta Y\\ \frac{dY}{dt}&=-\beta Y\\ \int \frac{1}{Y} dY&=\int -\beta dt\\ \ln Y +C_1&= -\beta t+ C_2 \\ \ln Y &= -\beta t + C_3 \\ Y &=e^{-\beta t + C_3}\\ Y&=e^{C_3}e^{-\beta t}\\Y&=Ae^{-\beta t}\end{aligned}
$$

위 식에서

• $\beta$가 0 보다 작을 경우(앞에 -기호때문에), exponential growth
• $\beta$가 0 일 경우, constant
• $\beta$가 0 보다 클 경우, exponential decay임.

참고로 $C_1, C_2, C_3$는 적분 상수(integration constants)이며, $A=e^{C_3}$는 초기 조건에 의해 결정되는 상수임.

• $C_3=C_2-C_1$
• $A=e^{C_3}$

---

같이보면 좋은 자료들

2024.11.23 - [.../Signals and Systems] - [SS] Discrete System Representation: DE, MA, AR, ARMA, ARIMA, SARIMA

[SS] Discrete System Representation: DE, MA, AR, ARMA, ARIMA, SARIMA

2024.11.22 - [.../Signals and Systems] - [SS] Structural Characteristics of Discrete Signals (or Time-series Data) : 작성중

[SS] Structural Characteristics of Discrete Signals (or Time-series Data) : 작성중

---