[Math] Multi-variable vs. Multi-variate and Multiple Regression

1. Multi-Variable vs Multi-Variate (in Regression)

Regression에서 많이 사용되는 경우에 한정할 경우,
위의 용어에서 Variable은 독립변수에 해당하며, Variate는 종속변수에 해당하다고 보면 편함.

•  variable (변수) : Regression에서는 흔히 독립변수를 가리킴.
  • 종속변수를 가리킬 때는 dependent variable로 dependent가 앞에 붙음.
  • univariable : independent variable이 scalar.
  • multi-variable : pedictor가 여러 개인 경우로 직관적으로 말하면 independent variable이 vector로 표현가능한 경우.
    • 하지만 Multivariable Regression 이라는 용어와 함께 Multiple (linear) Regression이라는 용어도 혼용됨.
    • independent variables가 여러 개이며, 각 sample의 predictor values를 vector로 표현하는 경우 Multiple Regression이라고도 불림.
•  variate (변량) : Regression의 경우, 종속변수을 주로 가리킴 (분야마다 차이는 있어서 variable과 혼용하여 사용하기도)
  • univariate : dependent variable이 scalar.
    하나의 식(single row)에서 scalar이므로 design matrix $X$를 이용한 matrix equation에선 vector가 됨.
    이를 Response Vector 라고 부름: $\textbf{y}$
  • multi-variate : dependent variable이 vector임.
    하나의 식(single row)에서 vector이므로 design matrix $X$를 이용한 matrix equation에선  matrix가 됨
    이를 Response Matrix라고 부름: $Y$

---

참고 : Multi-Variate function

Regression과 달리 일반적으로는 

Multi-Variate Function은 독립변수가 vector로 표현가능한 여러 input variable을 갖는 function 을 의미.
(이 경우는 variate가 독립변수를 가리키는데 사용된 경우임)

 

Regression 관점에 경도된 사람이 보면 틀린 것으로 읽힘: 서로 다룬 기준임에 주의할 것.

(하지만, 분야마다 다른 경우가 많음에 주의할 것)

• 워낙 많이 사용되다 보니 문맥에 따라 파악하는 게 좋다.
• multi-variate function의 경우 종속변수가 scalar로 한정하는 경우로도 자주 사용된다는 점을 기억하자.

---

Function에 대해 정리하면 다음과 같음.

• 정의역(domain)이  $\mathbb{R}$ 이면서 공역(codomain)이 $\mathbb{R}^n$ 인 경우, vector function (or single-variable vector-valued function or single variate vector-valued function).
• 정의역(domain)이  $\mathbb{R}^n$ 이면서 공역(codomain)이  $\mathbb{R}^n$ 인 경우, vector field (or multivariable vector-valued function or multivariate vector-valued function).
• 정의역(domain)이  $\mathbb{R}$ 이면서 공역(codomain)이 $\mathbb{R}$ 인 경우, scalar function 이라고 많이 불리나 명시적으론 scalar-valued function이 좋음.
• 정의역(domain)이  $\mathbb{R}^n$ 이면서 공역(codomain)이 $\mathbb{R}$ 인 경우, scalar field (or multi-variable function or multi-variate function).

개인적으로 vector function, scalar function은 좋아하진 않음: 입/출력 모두에 적용되는 용어라... 앞뒤를 살펴야 함.

---

2. Multiple Regression (중다회귀)

statistics에서 사용되는 용어로, 여러 independent variables를 사용하는 multiple linear regression을 의미함.

multiple regression의 경우, dependent variable이 하나로서, 이를 matrix equation으로 보면 다음과 같음.
$$
\textbf{y}=X\beta +\boldsymbol{\epsilon}
$$
where

• $\textbf{y}$ : row개 만큼의 sample들로부터 얻어진 observed value들. (dependent variable, univariate)
• $\boldsymbol{\beta}$ : 위의 linear model의 (unknown) parameter들을 component로 가지는 vector.
  • linear model이라고 불리는 이유는 이들 unknown parameter에 대해 linear하기 때문임.
  • independent variable에 대해서는 non-linear일 수 있음:
    • 예를들어 affine은 indepencent variable엔 nonlinear이나 parameters에 대해선 linear임
    • 아래의 예도 이를 보여줌.
  • model의 weight가 되며, $\textbf{y}$가 scalar이므로 vector임.
• $X$ : design matrix. regression에 사용된 sample들의 수만큼을 row로 가지며, independent variable의 수 이상(bias, 다른 independent variable간의 곱, 각 independent varible의 거듭제곱 등이 포함될 수 있음)의 column을 가짐.
  • sample이 3개이고, 2개의 independent variable $u$, $v$ 를 degree=2로 regression model을 만든다면 다음과 같은 design matrixk가 됨.
  • $X=\begin{bmatrix} 1 & u_1 & v_1 & u_1^2 & v_1^2 & u_1v_1 \\ 1 & u_2 & v_2 & u_2^2 & v_2^2 & u_2v_2 \\ 1 & u_3 & v_3 & u_3^2 & v_3^2 & u_3v_3 \end{bmatrix}$
  • 위의 design matrix에서 subscript는 sample 번호로 $\{1,2,3\}$임.
  • 전체 model의 matrix equation은 다음과 같음.
  • $\begin{bmatrix}y_1\\y_2\\y_3\end{bmatrix}= X\begin{bmatrix}\beta_0\\\beta_1\\\beta_2\\\beta_3 \\ \beta_4 \\ \beta_5 \end{bmatrix} +\begin{bmatrix}\epsilon_1\\\epsilon_2\\\epsilon_3\end{bmatrix}$
• $\boldsymbol{\epsilon}$ : error vector. 각 sample에서 model이 설명하지 못하는 random error를 component로 가지는 vector.
  • $\textbf{e}$ 는 residual로 fitting을 수행한 후, observed 와 fitted value간의 차이를 의미함: $\textbf{e}=\textbf{y}-X\hat{\boldsymbol{\beta}}$

많은 regression에서는
dependent variable이 scalar이고, 여러 independent variables를 사용하는 multiple regression 또는 multivariable
regression이 사용됨.

즉, 하나의 sample을 기준으로 종속변수는 scalar이고, 독립변수들은 vector로 표현됨.

하지만 variate와 variable의 구분이 문헌과 분야에 따라 일관되지 않고, 두 용어가 혼용되는 경우도 많으므로 주의해야 함.

---

더 읽어보면 좋은 자료들

https://dsaint31.tistory.com/entry/Function-%ED%95%A8%EC%88%98-%EA%B0%84%EB%9E%B5-%EC%A0%95%EC%9D%98

[Math] Function (함수): 간략 정의

 

2024.02.23 - [.../Math] - [Math] Variable (변수)

[Math] 용어: Variable (변수) 과 Variates (변량)

 

https://stats.stackexchange.com/questions/447455/multivariable-vs-multivariate-regression

Multivariable vs multivariate regression

 

https://mansoostat.tistory.com/23

Univariate,Multivariate vs. Univariable,Multivariable