[SS] Discrete System Representation: DE, MA, AR, ARMA, ARIMA, SARIMA

신호처리 관점에서의 시스템 표현: 차분 방정식과 MA, AR, ARMA, ARIMA, SARIMA 모델

신호처리에서 이산 신호 시스템은
FIR(Finite Impulse Response) 시스템과 IIR(Infinite Impulse Response) 시스템으로 분류할 수 있음.

• 이들은 difference equation(차분 방정식)을 통해 수학적으로 표현가능함.
• 그러나 차분 방정식만으로는 신호의 주파수 응답, 자기 상관성, 노이즈 제거 등의 다양한 특성을 효과적으로 반영한 모델링이 어려움.

Difference Equation

 

이를 보완하기 위해 다음의 확장된 형태의 표현(representation, model)이 도입됨.

• MA(Moving Average),
• AR(Auto-Regressive),
• ARMA(Auto-Regressive Moving Average),
• ARIMA(Auto-Regressive Integrated Moving Average),
• SARIMA(Seasonal Auto-Regressive Integrated Moving Average)

이러한 모델들은 신호처리와 시계열 분석에서 데이터(or 신호) 및 시스템의 특성을 반영하여 시스템을 더욱 정교하게 표현하는 데 사용됨.

2024.11.22 - [.../Signals and Systems] - [SS] Structural Characteristics of Discrete Signals (or Time-series Data) : 작성중

[SS] Structural Characteristics of Discrete Signals (or Time-series Data) : 작성중

---

 

참고로 시계열 분석에서는

• 주로 input signal $x[n-k]$이 white noise distribution error $\epsilon[n-k]$으로 표현됨. 
• ML 등에서는 이전의 출력 $y[n-k]$를 leg라고도 칭함 (lag는 이전 시점의 데이터를 가리키는 용어)

2023.09.01 - [Computer] - [ML] Time Series 란?

[ML] Time Series 란?

---

1. 차분 방정식을 통한 FIR과 IIR 시스템

디지털 신호처리에서 FIR과 IIR 시스템은 다음과 같은 difference equation(차분 방정식)으로 표현됨:

$$y[n] +\sum_{k=1}^P a_k y[n-k] = \sum_{k=0}^{Q} b_k x[n-k]$$

• Time Invariant System인 경우, $a_k$와 $b_k$는 모두 시간에 독립적인 constant coefficient.
• Causal System인 경우, $P \ge Q$성립.

---

1-1. FIR 시스템 (유한 임펄스 응답):

$$y[n] = \sum_{k=0}^{Q} b_k x[n - k]$$

• 특징:
  • 피드백 차수 $P = 0$ (피드백 계수 $a_k = 0$)
  • 입력 신호 $x[n]$의 유한한 과거 값을 사용하여 출력 $y[n]$을 생성
  • 유한한 임펄스 응답을 가지며, 노이즈 제거와 신호 평활화에 적합

---

1-2.IIR 시스템 (무한 임펄스 응답):

$$y[n] = - \sum_{k=1}^{P} a_k y[n - k] + \sum_{k=0}^{Q} b_k x[n - k]$$

• 특징:
  • 피드백 계수 $a_k$가 존재하여 과거 출력 신호 $y[n - k]$를 피드백으로 활용
  • 자기 상관성을 반영
  • 무한한 임펄스 응답을 생성하며 복잡한 freq. response 설계가 가능

---

2. 확장된 모델: MA, AR, ARMA, ARIMA, SARIMA

2-1. 이동 평균(MA) 모델

정의:

$$y[n] = \sum_{k=0}^{Q} b_k x[n - k]$$

• 여기서 $Q$: 이동 평균 차수 (피드포워드 차수)

특징:

• FIR 시스템을 표현하는데 사용됨.
• Digital Convolution에 해당: zero-state response 를 유한한 impulse response와 input signal로 계산 가능
• 주로 노이즈 제거 와 신호 평활화 등에 사용.
• 시스템의 제로(zero)를 제어하여 freq. response를 설계할 수 있음.

---

2-2. 자기회귀(AR) 모델

정의:

$$y[n] = - \sum_{k=1}^{P} a_k y[n - k] + b_0 x[n]$$

• 여기서 $P$: 자기회귀 차수 (피드백 차수)

특징:

• IIR 시스템의 특별한 형태: feedback을 통해 Infinite Impulse Response를 표현.
• 현재 입력 $x[n]$과 과거 출력 $y[n - k]$를 사용하여 출력 생성
• Auto-correlation(자기 상관성)을 반영.
• 폴(pole)을 제어하여 frequency response와 resonance frequency(공진 주파수)를 설계할 수 있음
• 적절한 coefficient(계수) 선택을 통해 FIR 시스템을 AR 모델로 표현할 수 있으나,
• 이 경우, 차수가 높아져 계산 복잡도가 증가하는 단점이 있음. 
• 따라서 FIR 시스템은 일반적으로 MA 모델로 표현하는 것이 효율적

 

참고로 Exponential Moving Average 모델은 AR 임.

2024.11.22 - [.../Math] - [Math] Exponential Moving Average (EMA)

[Math] Exponential Moving Average (EMA)

---

2-3. 자기회귀 이동 평균(ARMA) 모델

정의:

$$y[n] = - \sum_{k=1}^{P} a_k y[n - k] + \sum_{k=0}^{Q} b_k x[n - k]$$

• $P$: 피드백 차수 (자기회귀 차수)
• $Q$: 피드포워드 차수 (이동 평균 차수)

특징:

• MA와 AR을 결합한 general form.
• FIR과 IIR 시스템 모두 표현 가능.
• 자기 상관성과 외부 입력 신호를 동시에 처리하여 복잡한 주파수 응답 설계가 가능

---

2-4. 자기회귀 누적 이동 평균(ARIMA) 모델

참고: 정상성(stationarity) 
신호의 통계적 특성이 시간에 따라 변하지 않는 성질로  
Stationary Signal은 Signal의 평균, 분산, 자기 공분산 등이 시간에 독립적임.

---

정의:

일반 차분 연산자 $\Delta^d$는 다음과 같이 정의됨:

$$\Delta^d x[n] = \left(1 - B\right)^d x[n]$$

• $B$는 뒤로 이동 연산자(backshift operator), $B x[n] = x[n - 1]$

입력 신호 $x[n]$에 $d$차 차분 연산자를 적용하여 $x_d[n]$을 생성:

$$x_d[n] = \Delta^d x[n] = (1 - B)^d x[n]$$

 

위에서 구한 차분된 입력 신호에 ARMA 모델 적용:

$$y[n] = - \sum_{k=1}^{P} a_k y[n - k] + \sum_{k=0}^{Q} b_k x_d[n - k]$$  

특징:

• 비정상(non-stationary) 신호를 $d$차 차분하여 정상(stationary) 신호로 변환한 후 분석
• 비정상 신호는 통계적특성이 시간에 따라 변하므로 분석이 어려움
• Differencing(차분 연산)은 비정상 신호를 정상 신호로 변환하는 데 사용: 주로 trend를 제거.

---

참고: 차분 연산자 동작 예제 (차수 $d = 2$ )

예를 들어, 원래 신호 $x[n]$이 다음과 같다고 가정:
$$x[0] = 1,\quad x[1] = 3,\quad x[2] = 6,\quad x[3] = 10$$

1차 차분 ($d = 1$ )을 적용하면:
$$\Delta x[1] = x[1] - x[0] = 3 - 1 = 2 \\ \Delta x[2] = x[2] - x[1] = 6 - 3 = 3 \\ \Delta x[3] = x[3] - x[2] = 10 - 6 = 4$$

차분된 신호 $\Delta x[n]$는 ${2, 3, 4}$가 됨.

$$\Delta x[n] = x[n] - x[n - 1]$$

2차 차분 ($d = 2$)을 적용하면:

1차 차분된 신호에 다시 차분 연산 적용:

$$\Delta^2 x[n] = \Delta (\Delta x[n]) = \Delta x[n] - \Delta x[n - 1]$$

계산 결과:
$$\Delta^2 x[2] = \Delta x[2] - \Delta x[1] = 3 - 2 = 1 \\ \Delta^2 x[3] = \Delta x[3] - \Delta x[2] = 4 - 3 = 1$$

또는 다음의 공식으로 직접 계산도 가능:

$$\Delta^2 x[n] = x[n] - 2 x[n - 1] + x[n - 2]$$

직접 계산하면 다음과 같음:

$$\Delta^2 x[2] = x[2] - 2 x[1] + x[0] = 6 - 2 \times 3 + 1 = 6 - 6 + 1 = 1 \\ \Delta^2 x[3] = x[3] - 2 x[2] + x[1] = 10 - 2 \times 6 + 3 = 10 - 12 + 3 = 1$$

2차 차분된 신호 $\Delta^2 x[n]$는 ${1, 1}$이 됨

해석:

• 2차 차분을 통해 원래 신호의 증가율의 변화를 확인할 수 있음
• 일정한 증가 추세를 가지는 신호는 2차 차분 후에 일정한 값이 됨

---

2-5. 계절성 자기회귀 누적 이동 평균(SARIMA) 모델

정의:

계절 차분 연산자 $\Delta_s^D$:

$$\Delta_s^D x[n] = (1 - B^{s})^D x[n]$$

• 여기서 $s$는 계절 주기(period)

입력 신호에 일반 차분과 계절 차분 연산자를 적용하여 $x_{d,D}[n]$을 생성:

$$x_{d,D}[n] = \Delta^d \Delta_s^D x[n]$$

 

차분된 신호를 사용하여 ARMA 모델을 계절성을 포함하여 확장:

$$y[n] = - \sum_{k=1}^{P} a_k y[n - k] - \sum_{k=1}^{P_s} A_k y[n - k s] + \sum_{k=0}^{Q} b_k x_{d,D}[n - k] + \sum_{k=0}^{Q_s} B_k x_{d,D}[n - k s]$$

특징:

• 주기적 특성을 가진 데이터에서 반복 패턴을 분석하는 데 적합
• 시계열 데이터 분석에서 계절성(seasonality)을 반영하여 모델링할 수 있음

---

참고: 계절 차분 연산자 동작 예제

예를 들어, 계절 주기 $s = 2$, 차수 $D = 1$인 경우, 원래 신호 $x[n]$이 다음과 같다고 가정:

 

$$x[0] = 5,\quad x[1] = 7,\quad x[2] = 5,\quad x[3] = 7,\quad x[4] = 5$$

 

계절 차분 연산자 $\Delta_2^1 x[n] = x[n] - x[n - 2]$를 적용하면:

 

$$\Delta_2^1 x[2] = x[2] - x[0] = 5 - 5 = 0 \\ \Delta_2^1 x[3] = x[3] - x[1] = 7 - 7 = 0 \\ \Delta_2^1 x[4] = x[4] - x[2] = 5 - 5 = 0$$

계절 차분된 신호 $\Delta_2^1 x[n]$는 ${0, 0, 0}$가 됨

 

해석:

• 원래 신호가 주기 2의 패턴을 가지며, 계절 차분 후에는 변화가 없는 것을 보여줌

---

3. 차분 방정식과 확장 모델 비교

모델	대응 시스템	주요 특징	활용성
MA 모델	FIR 시스템	노이즈 제거와 신호 평활화에 적합	시스템의 제로를 제어하여 주파수 응답 설계에 활용
AR 모델	IIR 시스템	자기 상관성을 반영하고 주파수 응답 설계에 활용 FIR 시스템을 표현할 수 있으나 계산 복잡도 증가	폴을 제어하여 공진 주파수 설계 가능 일반적으로 FIR 시스템은 MA 모델로 표현
ARMA 모델	FIR + IIR 시스템	자기 상관성과 외부 입력 신호를 동시에 처리	복잡한 주파수 응답 설계에 활용
ARIMA 모델	ARMA + 차분	비정상 신호를 정상 신호로 변환 후 분석	시계열 데이터의 추세(trend) 제거에 활용
SARIMA 모델	ARIMA + 계절성	계절성과 주기성을 모두 모델링	주기적 데이터 패턴 분석 및 예측에 활용

---

4. 결론

신호처리에서 시스템의 표현은

• 기본적인 difference equation에서 시작하여
• MA, AR, ARMA, ARIMA, SARIMA 모델로 확장됨.

이러한 모델들은 신호의 자기 상관성, 비정상성, 주기적 특성을 반영하여 더욱 정교한 분석과 처리를 가능함.

• 특히, AR 모델은 적절한 계수 선택을 통해 FIR 시스템을 표현할 수 있으나, 이 경우 차수가 높아지며 계산 복잡도가 증가하여 비효율적.
• 따라서 FIR 시스템은 일반적으로 MA 모델로 표현하는 것이 효율적.
• 또한, 비정상 신호의 분석을 위해 ARIMA 모델에서 차분 연산자를 사용하여 정상성을 확보함으로써 모델의 안정성과 정확성을 향상시킴.
• SARIMA 모델은 주기적 데이터 패턴의 분석에 유용하며, 계절 차분 연산자를 통해 계절성을 포함한 시계열 데이터의 모델링에 적합한 구조를 제공.

---

참고하면 좋은 글들

https://velog.io/@euisuk-chung/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D%EC%8B%9C%EA%B3%84%EC%97%B4-AR-MA-ARMA-ARIMA%EC%9D%98-%EB%AA%A8%EB%93%A0-%EA%B2%83-%EA%B0%9C%EB%85%90%ED%8E%B8

[머신러닝][시계열] AR, MA, ARMA, ARIMA의 모든 것 - 개념편

 

---