[SS] Discrete System Representation: DE, MA, AR, ARMA, ARIMA, SARIMA
신호처리 관점에서의 시스템 표현:
차분 방정식과 MA, AR, ARMA, ARIMA, SARIMA 모델
신호처리에서 이산 신호 시스템은
FIR(Finite Impulse Response) 시스템과 IIR(Infinite Impulse Response) 시스템으로 분류할 수 있음.
- 이들은 difference equation(차분 방정식)을 통해 수학적으로 표현가능함.
- 그러나 차분 방정식만으로는 신호의 주파수 응답, 자기 상관성, 노이즈 제거 등의 다양한 특성을 효과적으로 반영한 모델링이 어려움.
이를 보완하기 위해 다음의 확장된 형태의 표현(representation, model)이 도입됨.
- MA(Moving Average),
- AR(Auto-Regressive),
- ARMA(Auto-Regressive Moving Average),
- ARIMA(Auto-Regressive Integrated Moving Average),
- SARIMA(Seasonal Auto-Regressive Integrated Moving Average)
이러한 모델들은 신호처리와 시계열 분석에서 데이터(or 신호) 및 시스템의 특성을 반영하여 시스템을 더욱 정교하게 표현하는 데 사용됨.
참고로 시계열 분석에서는
- 주로 input signal $x[n-k]$이 white noise distribution error $\epsilon[n-k]$으로 표현됨.
- ML 등에서는 이전의 출력 $y[n-k]$를 leg라고도 칭함 (lag는 이전 시점의 데이터를 가리키는 용어)
2023.09.01 - [Computer] - [ML] Time Series 란?
[ML] Time Series 란?
시계열 데이터라고 불리는 time series data는 쉽게 생각해서 일정한 시간 간격으로 배치된 seqence (수열) 을 가르킨다. 이는 엄밀하게 애기하면 discrete time series data라고 생각할 수 있다. continuous time se
dsaint31.tistory.com
1. 차분 방정식을 통한 FIR과 IIR 시스템
디지털 신호처리에서 FIR과 IIR 시스템은 다음과 같은 difference equation(차분 방정식)으로 표현됨:
$$y[n] +\sum_{k=1}^P a_k y[n-k] = \sum_{k=0}^{Q} b_k x[n-k]$$
- Time Invariant System인 경우, $a_k$와 $b_k$는 모두 시간에 독립적인 constant coefficient.
- Causal System인 경우, $P \ge Q$성립.
1-1. FIR 시스템 (유한 임펄스 응답):
$$y[n] = \sum_{k=0}^{Q} b_k x[n - k]$$
- 특징:
- 피드백 차수 \( P = 0 \) (피드백 계수 \( a_k = 0 \))
- 입력 신호 \( x[n] \)의 유한한 과거 값을 사용하여 출력 \( y[n] \)을 생성
- 유한한 임펄스 응답을 가지며, 노이즈 제거와 신호 평활화에 적합
1-2.IIR 시스템 (무한 임펄스 응답):
$$y[n] = - \sum_{k=1}^{P} a_k y[n - k] + \sum_{k=0}^{Q} b_k x[n - k]$$
- 특징:
- 피드백 계수 \( a_k \)가 존재하여 과거 출력 신호 \( y[n - k] \)를 피드백으로 활용
- 자기 상관성을 반영
- 무한한 임펄스 응답을 생성하며 복잡한 freq. response 설계가 가능
2. 확장된 모델: MA, AR, ARMA, ARIMA, SARIMA
2-1. 이동 평균(MA) 모델
정의:
\[
y[n] = \sum_{k=0}^{Q} b_k x[n - k]
\]
- 여기서 \( Q \): 이동 평균 차수 (피드포워드 차수)
특징:
- FIR 시스템을 표현하는데 사용됨.
- Digital Convolution에 해당: zero-state response 를 유한한 impulse response와 input signal로 계산 가능
- 주로 노이즈 제거 와 신호 평활화 등에 사용.
- 시스템의 제로(zero)를 제어하여 freq. response를 설계할 수 있음.
2-2. 자기회귀(AR) 모델
정의:
\[
y[n] = - \sum_{k=1}^{P} a_k y[n - k] + b_0 x[n]
\]
- 여기서 \( P \): 자기회귀 차수 (피드백 차수)
특징:
- IIR 시스템의 특별한 형태: feedback을 통해 Infinite Impulse Response를 표현.
- 현재 입력 \( x[n] \)과 과거 출력 \( y[n - k] \)를 사용하여 출력 생성
- Auto-correlation(자기 상관성)을 반영.
- 폴(pole)을 제어하여 frequency response와 resonance frequency(공진 주파수)를 설계할 수 있음
- 적절한 coefficient(계수) 선택을 통해 FIR 시스템을 AR 모델로 표현할 수 있으나,
- 이 경우, 차수가 높아져 계산 복잡도가 증가하는 단점이 있음.
- 따라서 FIR 시스템은 일반적으로 MA 모델로 표현하는 것이 효율적
참고로 Exponential Moving Average 모델은 AR 임.
2024.11.22 - [.../Math] - [Math] Exponential Moving Average (EMA)
[Math] Exponential Moving Average (EMA)
Definitionmoving average (=rolling average or running average)데이터 포인트를 분석하기 위한전체 데이터 집합에서 연속적인 부분 집합들의 평균을 계산하는통계적 방법이다.MA 중에서도 EMA는최근의 데이터에
dsaint31.tistory.com
2-3. 자기회귀 이동 평균(ARMA) 모델
정의:
\[ y[n] = - \sum_{k=1}^{P} a_k y[n - k] + \sum_{k=0}^{Q} b_k x[n - k] \]
- \( P \): 피드백 차수 (자기회귀 차수)
- \( Q \): 피드포워드 차수 (이동 평균 차수)
특징:
- MA와 AR을 결합한 general form.
- FIR과 IIR 시스템 모두 표현 가능.
- 자기 상관성과 외부 입력 신호를 동시에 처리하여 복잡한 주파수 응답 설계가 가능
2-4. 자기회귀 누적 이동 평균(ARIMA) 모델
참고: 정상성(stationarity)
신호의 통계적 특성이 시간에 따라 변하지 않는 성질로
Stationary Signal은 Signal의 평균, 분산, 자기 공분산 등이 시간에 독립적임.
정의:
일반 차분 연산자 \( \Delta^d \)는 다음과 같이 정의됨:
\[
\Delta^d x[n] = \left(1 - B\right)^d x[n]
\]
- \( B \)는 뒤로 이동 연산자(backshift operator), \( B x[n] = x[n - 1] \)
입력 신호 \( x[n] \)에 \( d \)차 차분 연산자를 적용하여 \( x_d[n] \)을 생성:
\[
x_d[n] = \Delta^d x[n] = (1 - B)^d x[n]
\]
위에서 구한 차분된 입력 신호에 ARMA 모델 적용:
$$y[n] = - \sum_{k=1}^{P} a_k y[n - k] + \sum_{k=0}^{Q} b_k x_d[n - k]$$
특징:
- 비정상(non-stationary) 신호를 \( d \)차 차분하여 정상(stationary) 신호로 변환한 후 분석
- 비정상 신호는 통계적특성이 시간에 따라 변하므로 분석이 어려움
- Differencing(차분 연산)은 비정상 신호를 정상 신호로 변환하는 데 사용: 주로 trend를 제거.
참고: 차분 연산자 동작 예제 (차수 \( d = 2 \) )
예를 들어, 원래 신호 \( x[n] \)이 다음과 같다고 가정:
\[
x[0] = 1,\quad x[1] = 3,\quad x[2] = 6,\quad x[3] = 10
\]
1차 차분 (\( d = 1 \) )을 적용하면:
\[
\Delta x[1] = x[1] - x[0] = 3 - 1 = 2 \\
\Delta x[2] = x[2] - x[1] = 6 - 3 = 3 \\
\Delta x[3] = x[3] - x[2] = 10 - 6 = 4
\]
차분된 신호 \( \Delta x[n] \)는 \( {2, 3, 4} \)가 됨.
\[
\Delta x[n] = x[n] - x[n - 1]
\]
2차 차분 (\( d = 2 \))을 적용하면:
1차 차분된 신호에 다시 차분 연산 적용:
\[
\Delta^2 x[n] = \Delta (\Delta x[n]) = \Delta x[n] - \Delta x[n - 1]
\]
계산 결과:
\[
\Delta^2 x[2] = \Delta x[2] - \Delta x[1] = 3 - 2 = 1 \\
\Delta^2 x[3] = \Delta x[3] - \Delta x[2] = 4 - 3 = 1
\]
또는 다음의 공식으로 직접 계산도 가능:
\[
\Delta^2 x[n] = x[n] - 2 x[n - 1] + x[n - 2]
\]
직접 계산하면 다음과 같음:
\[
\Delta^2 x[2] = x[2] - 2 x[1] + x[0] = 6 - 2 \times 3 + 1 = 6 - 6 + 1 = 1 \\
\Delta^2 x[3] = x[3] - 2 x[2] + x[1] = 10 - 2 \times 6 + 3 = 10 - 12 + 3 = 1
\]
2차 차분된 신호 \( \Delta^2 x[n] \)는 \( {1, 1} \)이 됨
해석:
- 2차 차분을 통해 원래 신호의 증가율의 변화를 확인할 수 있음
- 일정한 증가 추세를 가지는 신호는 2차 차분 후에 일정한 값이 됨
2-5. 계절성 자기회귀 누적 이동 평균(SARIMA) 모델
정의:
계절 차분 연산자 \( \Delta_s^D \):
\[
\Delta_s^D x[n] = (1 - B^{s})^D x[n]
\]
- 여기서 \( s \)는 계절 주기(period)
입력 신호에 일반 차분과 계절 차분 연산자를 적용하여 \( x_{d,D}[n] \)을 생성:
\[
x_{d,D}[n] = \Delta^d \Delta_s^D x[n]
\]
차분된 신호를 사용하여 ARMA 모델을 계절성을 포함하여 확장:
\[
y[n] = - \sum_{k=1}^{P} a_k y[n - k] - \sum_{k=1}^{P_s} A_k y[n - k s] + \sum_{k=0}^{Q} b_k x_{d,D}[n - k] + \sum_{k=0}^{Q_s} B_k x_{d,D}[n - k s]
\]
특징:
- 주기적 특성을 가진 데이터에서 반복 패턴을 분석하는 데 적합
- 시계열 데이터 분석에서 계절성(seasonality)을 반영하여 모델링할 수 있음
참고: 계절 차분 연산자 동작 예제
예를 들어, 계절 주기 \( s = 2 \), 차수 \( D = 1 \)인 경우, 원래 신호 \( x[n] \)이 다음과 같다고 가정:
\[
x[0] = 5,\quad x[1] = 7,\quad x[2] = 5,\quad x[3] = 7,\quad x[4] = 5
\]
계절 차분 연산자 \( \Delta_2^1 x[n] = x[n] - x[n - 2] \)를 적용하면:
\[
\Delta_2^1 x[2] = x[2] - x[0] = 5 - 5 = 0 \\
\Delta_2^1 x[3] = x[3] - x[1] = 7 - 7 = 0 \\
\Delta_2^1 x[4] = x[4] - x[2] = 5 - 5 = 0
\]
계절 차분된 신호 \( \Delta_2^1 x[n] \)는 \( {0, 0, 0} \)가 됨
해석:
- 원래 신호가 주기 2의 패턴을 가지며, 계절 차분 후에는 변화가 없는 것을 보여줌
3. 차분 방정식과 확장 모델 비교
| 모델 | 대응 시스템 | 주요 특징 | 활용성 |
| MA 모델 | FIR 시스템 | 노이즈 제거와 신호 평활화에 적합 | 시스템의 제로를 제어하여 주파수 응답 설계에 활용 |
| AR 모델 | IIR 시스템 | 자기 상관성을 반영하고 주파수 응답 설계에 활용 FIR 시스템을 표현할 수 있으나 계산 복잡도 증가 | 폴을 제어하여 공진 주파수 설계 가능 일반적으로 FIR 시스템은 MA 모델로 표현 |
| ARMA 모델 | FIR + IIR 시스템 | 자기 상관성과 외부 입력 신호를 동시에 처리 | 복잡한 주파수 응답 설계에 활용 |
| ARIMA 모델 | ARMA + 차분 | 비정상 신호를 정상 신호로 변환 후 분석 | 시계열 데이터의 추세(trend) 제거에 활용 |
| SARIMA 모델 | ARIMA + 계절성 | 계절성과 주기성을 모두 모델링 | 주기적 데이터 패턴 분석 및 예측에 활용 |
4. 결론
신호처리에서 시스템의 표현은
- 기본적인 difference equation에서 시작하여
- MA, AR, ARMA, ARIMA, SARIMA 모델로 확장됨.
이러한 모델들은 신호의 자기 상관성, 비정상성, 주기적 특성을 반영하여 더욱 정교한 분석과 처리를 가능함.
- 특히, AR 모델은 적절한 계수 선택을 통해 FIR 시스템을 표현할 수 있으나, 이 경우 차수가 높아지며 계산 복잡도가 증가하여 비효율적.
- 따라서 FIR 시스템은 일반적으로 MA 모델로 표현하는 것이 효율적.
- 또한, 비정상 신호의 분석을 위해 ARIMA 모델에서 차분 연산자를 사용하여 정상성을 확보함으로써 모델의 안정성과 정확성을 향상시킴.
- SARIMA 모델은 주기적 데이터 패턴의 분석에 유용하며, 계절 차분 연산자를 통해 계절성을 포함한 시계열 데이터의 모델링에 적합한 구조를 제공.
참고하면 좋은 글들
[머신러닝][시계열] AR, MA, ARMA, ARIMA의 모든 것 - 개념편
시계열 분석에 대표주자 AR, MA, ARMA, ARIMA에 대해 설명합니다.
velog.io