Dsaint31's blog

Turing Machine

dsaint31x — Tue, 25 Aug 2026 15:28:12 +0900

https://youtu.be/E3keLeMwfHY?si=xfBwvHh_L6XnVX8a

이글을 보기전에 다음 동영상을 보길 권함:

https://youtu.be/-ZS_zFg4w5k?si=_WvPsGJlw_LUm2_j

0. Turing Machine과 계산 가능성 (computability)

Turing Machine (튜링 기계)

Alan Turing 이 1936년에 제안한
추상적인 계산 모델 (abstract model of computation) 임.

실제 computer 의 물리적 구조를 묘사하기 위한 장치가 아니라, 다음과 같은 질문을 수학적으로 다루기 위해 제안됨.

어떤 문제를
algorithm 으로 계산할 수 있는가?

Algorithm (알고리즘)

어떤 문제를 해결하기 위해 수행해야 할 유한한 단계의 명확한 절차임.
각 단계에서 무엇을 해야 하는지가 명확하게 정해져 있어야 함.
같은 입력에 대해 정해진 규칙에 따라 계산을 진행함.

좀 더 쉽게 말하면,

algorithm 은 문제를 해결하기 위한 명확한 계산 절차임.
어떤 계산이 algorithm 으로 수행 가능하다는 것은, 그 절차를 수행하는 Turing Machine 을 만들 수 있다는 것과 같은 의미로 봄.
따라서 어떤 문제가 computable (계산 가능) 하다는 것은, 그 문제를 해결하는 algorithm 을 Turing Machine 으로 표현하여 실행할 수 있다는 의미임.

결국 알고리즘은 오늘날 컴퓨터에선 프로그램으로 구현되는게 일반적임.

참고로,
여기서 Computation (계산) 은 정해진 rule 에 따라 input 과 state 를 단계적으로 변환하여 결과를 만들어내는 과정임.

Turing Machine 은 매우 단순한 구조를 가지지만,

algorithm 으로 수행할 수 있다고 생각되는 일반적인 계산을 표현 (=실행)할 수 있음.

(어떤 문제가 algorithm으로 풀 수 있다면, Turing machine은 해당 문제를 풀 수 있음)

이러한 이유로 computability theory (계산 가능성 이론) 의 가장 기본적인 계산 모델로 사용됨.

좀 더 쉽게 애기하면

어떤 계산이 algorithm 으로 수행 가능하다는 것은,
그 계산을 수행하는 Turing Machine 을 만들 수 있다는 것과 같은 의미로 봄.
어떤 문제가 계산 가능(computable)하다는 것은
그 문제를 해결하는 algorithm을 Turing Machine으로 표현하여 실행할 수 있다는 의미임.

참고: Turing, A. M. (1936). “On Computable Numbers, with an Application to the Entscheidungsproblem.” Proceedings of the London Mathematical Society, Series 2, 42, 230–265.

1928년: David Hilbert와 Wilhelm Ackermann이 Grundzüge der Theoretischen Logik에서 Entscheidungsproblem (결정 문제, Decision Problem) 을 제시
- 형식 논리의 임의의 명제가 주어졌을 때, 그것이 논리적으로 참인지 여부를 기계적인 절차(algorithm)만으로 항상 판정할 수 있는가?
- 즉, 임의의 논리 명제의 validity를 항상 판정할 수 있는 일반적인 decision procedure가 존재하는가? : 수학자가 하던 일.
1936년: Alan Turing이 이 문제를 다루기 위해 Turing Machine 개념을 제안하고, 일반적인 결정 절차가 존재하지 않음을 보임.
- 모든 논리적 문제의 참·거짓을 유한한 계산 절차로 항상 판정해 주는 범용 algorithm 은 존재하지 않음.
1937년: Turing의 논문 On Computable Numbers, with an Application to the Entscheidungsproblem 이 정식 출판됨

1936년 Turing이 증명한 것은 다음과 같음:

어떤 특정 문제는 algorithm 으로 해결할 수 있음.
하지만 모든 문제를 대상으로
- input 을 넣으면
- 유한한 시간 안에
- 반드시 정답을 내는
- 하나의 universal decision algorithm
  은 만들 수 없음.

참고: Turing Machine과 Imitation Game

Turing 은 다음과 같은 당시 어려운 두 문제 에 대해 비슷한 접근을 취하여 정의함:

무엇이 계산 가능한가? = 어떤 문제를 algorithm으로 해결할 수 있는가?
기계가 생각할 수 있는가? = machine intelligence를 어떻게 판정할 수 있는가?

추상적이고 정의하기 어려운 개념을 직접 정의하기보다, 관찰 가능하고 판정 가능한 절차로 바꿈.

계산 가능성에서는:

“algorithm 으로 계산 가능하다”
=> “Turing Machine 으로 계산할 수 있는가?”

Imitation Game 에서는:

“machine 이 생각하는가? (machine이 지능을 가지고 있는가?)”
=>“대화만으로 인간과 machine 을 신뢰성 있게 구별할 수 있는가?”

따라서 Imitation Game 은

intelligence 자체의 정의라기보다,
intelligence 를 행동을 통해 평가하려는 operational test로 보는 것이 정확함.

Imitation Game은 Turing의 1950년 논문 Computing Machinery and Intelligence 에서 제시된 실험 설정임:

심사자가 text-based conversation 만으로
상대가 human 인지 machine 인지 구별하려고 함.
machine 이 인간과 충분히 구별되지 않는다면 intelligent behavior 를 보인 것으로 간주함.

이는 오늘날 Turing Test로 불리며, 이는 Imitation Game의 개념을 일반화하여 부르는 이름임.

참고: Alan M. Turing (1950), “Computing Machinery and Intelligence.” Mind, Volume LIX, Issue 236, October 1950, pp. 433–460.

https://dsaint31.me/mkdocs_site/ML/ch00/ch00_00_intro/?h=turing#turing-test

BME

ai dl ml representation representative Learning AI, ML and DL. AI 란 John McCarthy (AI 용어 창안자. 미국의 인지심리학자.1927-2011) 에 따르면 Artificial Intelligence (AI)의 정의는 다음과 같음. ref. : Basic Questions Q. What is ar

dsaint31.me

1. Automaton 관점에서의 Turing Machine

automaton (오토마톤) 은
입력을 읽고
현재 state 와 정해진 transition rule 에 따라
동작하는 추상적인 machine 임.

일반적으로 다음 요소를 가짐.

입력을 읽음.
유한한 수의 내부 state (상태) 를 가짐.
정의된 transition rule (전이 규칙) 에 따라 state 를 변경함.
특정 state 에 도달하면 계산을 종료하거나 결과를 결정함.

https://ds31x.tistory.com/626#2.-%EA%B3%84%EC%82%B0-%EC%9D%B4%EB%A1%A0%EC%97%90%EC%84%9C%EC%9D%98-machine

Machine 이란?

Machine이란 무엇인가?컴퓨터를 정의할 때 다음과 같이 말한다.컴퓨터는 program(= set of instructions)을 실행하는 electronic machine 임. 이 문서는 machine이라는 용어를 좀 더 자세히 소개한다.1. 공학적 의미

ds31x.tistory.com

Finite Automaton vs. Turing Machine

Finite Automaton (유한 오토마톤) 과 Turing Machine 의 핵심적인 차이는 사용할 수 있는 memory 에 있음.

	Finite Automaton	Turing Machine
control state	유한	유한
memory	현재 state 에 사실상 제한됨	무한히 확장 가능한 tape
read/write	입력을 읽음	tape 를 읽고 쓸 수 있음
이동	일반적으로 입력을 한 방향으로 처리	head 가 좌우로 이동 가능
계산 능력	제한적	일반적인 algorithm 표현 가능

Finite Automaton

입력 길이에 따라 증가하는 별도의 memory 를 사용할 수 없음.
따라서 이미 읽은 입력 전체를 저장하거나 임의의 위치로 돌아가 수정하는 작업을 수행할 수 없음.

반면 Turing Machine 은 읽고 쓸 수 있는 tape (테이프) 를 memory 로 사용함.

tape 는 이론적으로 무한히 확장 가능함.
head 는 tape 의 symbol 을 읽을 수 있음.
새로운 symbol 을 기록할 수 있음.
왼쪽 또는 오른쪽으로 이동할 수 있음.
이미 지나간 위치로 돌아가 다시 읽거나 수정할 수 있음.

주의할 점은 Turing Machine 의 state 수가 무한한 것이 아니라는 것임.

Turing Machine
= finite control state + unbounded tape memory

즉,
유한한 state 를 가진 automaton 에
읽고 쓸 수 있는 무한히 확장 가능한 memory 를 결합한 계산 모델이

Turing Machine임.

2. Turing Machine의 기본 구성

Turing Machine 은 엄밀하게 다음과 같은 7-tuple 로 정의할 수 있음.

$$
M=(Q,\Sigma,\Gamma,\delta,q_0,q_{\mathrm{accept}},q_{\mathrm{reject}})
$$

where

$Q$: 유한한 state 집합
$\Sigma$: input alphabet (input 에 사용가능한 symbol의 집합)
$\Gamma$: tape alphabet (tape에 기록가능한 symbol의 집합), input symbol도 tape에 기록되어야 하므로, $\Sigma \subseteq \Gamma$임.
$\delta$: transition function
$q_0$: initial state
$q_{\mathrm{accept}}$: accept state
$q_{\mathrm{reject}}$: reject state

그리고 개별 symbol (보통 0,1만 사용하는 예가 대다수) 과 alphabet 을 구별하면 다음과 같음:

$a \in \Sigma$: 하나의 input symbol
$b \in \Gamma$: 하나의 tape symbol

개념적으로는 다음 네 가지가 핵심임:

구성 요소	설명
Tape	symbol 을 저장하는 memory. cell 단위로 구성되며 이론적으로 무한히 확장 가능함.
Head	현재 tape cell 의 symbol 을 읽거나 쓰거나 지울 수 있고, 왼쪽 또는 오른쪽으로 이동함.
State	machine 의 현재 내부 상태를 나타냄.
Transition Function	현재 state 와 읽은 symbol 에 따라 다음 state, 기록할 symbol, head 이동 방향을 결정함.

transition function 은 일반적으로 다음 형태를 가짐.

$$
\delta(q,a)=(p,b,D)
$$

where

$q$: 현재 state
$a$: 현재 head 가 읽은 symbol
$p$: 다음 state
$b$: tape 에 새로 기록할 symbol
$D \in {L,R}$: head 의 이동 방향

따라서 하나의 transition 은 다음 동작을 의미함.

$$
\text{현재 state}+\text{읽은 symbol}
\longrightarrow
\text{새 state}+\text{기록할 symbol}+\text{head 이동}
$$

Turing Machine 의 computation 은

초기 input 이 기록된 tape 에서 시작하여
이 transition 을 반복적으로 수행하는 과정임.

3. Program으로서의 Machine Description

일반적인 Turing Machine $M$에서는 transition function $\delta$가 machine 자체에 고정되어 있음.

따라서 다음 두 요소를 구분할 수 있음:

Machine Description : $\langle M \rangle$

machine 자체를 정의한 description 임.

대표적으로 다음 정보를 포함함.

state 집합
input alphabet
tape alphabet
transition function
initial state
accept / reject state

즉, 어떤 automaton 인가를 정의하는 정보임.

Input : $x$

정의된 machine $M$에 실제로 주어지는 input data 임.

따라서 일반적인 Turing Machine 의 계산은 개념적으로 다음 구조임.

고정된 Machine M + Input x
              ↓
             M(x)

여기서 transition function 은 일종의 program (or S/W) 역할을 함.

즉, 일반적인 Turing Machine 에서는 program 은 machine 에 고정되어 있고 input 만 변경됨.

4. Universal Turing Machine (UMT)

Universal Turing Machine, UTM (보편 튜링 기계) 은

임의의 다른 Turing Machine 을
simulation 할 수 있도록 구성된 Turing Machine 임.

일반 Turing Machine 과 가장 중요한 차이는 다른 machine 의 description 자체를 input 으로 받는다는 점임.

입력은 개념적으로 다음과 같이 구성됨.

$$
\langle M\rangle, x
$$

where

$\langle M\rangle$: simulation 할 Turing Machine $M$의 encoded description
$x$: 해당 machine $M$에 제공할 실제 input

즉,

$\langle M\rangle$은 어떤 automaton 을 실행할 것인가를 알려줌.
$x$는 그 automaton 에 어떤 input 을 줄 것인가를 알려줌.

Universal Turing Machine $U$는 $\langle M\rangle$에 기록된 transition rule 을 해석하면서 $M$의 computation 을 단계별로 simulation 함.

개념적으로 다음과 같음.

$$
U(\langle M\rangle,x)=M(x)
$$

Automaton 관점에서는 다음과 같이 이해할 수 있음.

Universal Turing Machine 은
다른 Turing Machine 의 transition system 을 data 로 받아
해당 automaton 의 동작을 simulation 하는 automaton 임.

5. Program을 Data로 다룬다는 의미

Universal Turing Machine 의 중요한 점은
machine description 자체를 symbol 로 encoding 할 수 있다는 것임.

즉,

transition rule,
즉 program 자체를 data 로 표현할 수 있음.

일반적인 Turing Machine 에서는 transition rule 이 machine 에 고정되어 있음.

반면 Universal Turing Machine 에서는 실행할 machine 의 transition rule 이 input 의 일부가 됨.

[ Machine Description <M> ] ┐
                            ├──> [ Universal Turing Machine ] ──> Result
[ Input x ]                 ┘

이 구조는 현대 computer (Stored Program Computer or 폰노이만 구조)의 다음 개념과 매우 유사함.

[ Program ] ┐
            ├──> [ Memory ] ──> [ Processor ] ──> Result
[ Data    ] ┘

즉 동일한 hardware 에 서로 다른 program 을 memory 에 적재함으로써 완전히 다른 계산을 수행할 수 있음.

word processor
web browser
compiler
database
neural network program

등이 동일한 general-purpose computer 에서 실행될 수 있는 것도 이러한 program-as-data 관점과 연결됨.

Universal Turing Machine 과 현대의 stored-program computer 는 동일한 개념은 아니지만,
program 을 encoding 된 data 로 저장하고 범용 machine 이 이를 실행한다는 점에서 중요한 이론적 연결 관계를 가짐.

https://ds31x.tistory.com/384#%EC%B0%B8%EA%B3%A0-stored-program-computer

[CE] EDSAC과 EDVAC, 그리고 Stored Program Computer

EDSAC (Electronic Delay Storage Automatic Calculator)1949년 개발된 (실용적인) 최초의 Stored Program Computer.영국 케임브리지 대학에서 모리스 윌킨스(Maurice Wilkes) 그룹이 von Neumann의 von Neumann Architecture를 채택하

ds31x.tistory.com

6. Turing Completeness

Turing Completeness (튜링 완전성) 는

어떤 computational system 이
Turing Machine 으로 계산 가능한 모든 계산 을 표현하고 수행할 수 있는 계산 능력을
가지고 있음을 의미함.

즉

어떤 system 이 임의의 Turing Machine 의 computation 을 simulation 할 수 있다면
해당 system 을 Turing-complete 하다고 함.

이를 Universal Turing Machine 과 구분하면 다음과 같음.

Universal Turing Machine
- 다른 Turing Machine 을 simulation 하도록 구성된 특정 machine
Turing-complete system
- 그러한 simulation 을 수행할 수 있는 수준의 computational power 를 가진 system

현대의
대부분의 general-purpose programming language 는
이론적으로 Turing-complete 함.

예:

C
Python
Java
Rust

https://ds31x.tistory.com/427#%EC%B0%B8%EA%B3%A0-turing-completeness-%EC%99%80-control-structure

[Programming] Control Flow 와 Control Structure

Abstraction(추상화)을 통한 이해프로그래밍 언어에서 Abstraction은 복잡한 세부 사항을 숨기고 핵심 개념만 드러내는 프로그래밍의 기본 원칙임. Control Flow와 Control Structure는프로그램의 Execution Path를

ds31x.tistory.com

단, 실제 computer 는 memory 가 유한하므로 문자 그대로 무한한 tape 를 가지는 Turing Machine 과 동일하지 않음.

때문에, Turing completeness 를 논할 때에는

일반적으로 필요에 따라 memory 를 임의로 확장할 수 있다는 이상화된 조건을 가정함.

또한 Turing completeness 는 performance 를 의미하지 않음에 주의할 것.

Turing-complete 하다는 것은
계산을 얼마나 빠르게 수행하는지가 아니라,
어떤 종류의 계산을 원리적으로 표현할 수 있는가를 의미함.

7. Computability와 Decidability

Turing Machine 이 중요한 이유는 단순히 강력한 계산 모델이기 때문만이 아님.

이를 이용하면
계산 가능한 것과 계산 불가능한 것의 경계를
수학적으로 정의할 수 있음.

Turing-computable

어떤 function 을 계산하는 Turing Machine 이 존재한다면
해당 function 을 Turing-computable (튜링 계산 가능) 하다고 함.

즉,

어떤 algorithm 으로 계산할 수 있다는 개념을
Turing Machine 의 존재 여부로 형식화한 것임.

Decidable

어떤 decision problem 에 대해

모든 input 에서 반드시 정지하여 올바른 Yes/No 답을 반환하는 Turing Machine 이 존재하면 (Hibert의 질문에 기인)
해당 문제를 decidable (결정 가능) 하다고 함.

반대로 그러한 machine 이 존재하지 않는 문제를
undecidable (결정 불가능) 하다고 함.

따라서 Turing Machine은

computation 의 가능성을 설명하는 동시에
algorithm 이 원리적으로 해결할 수 없는 문제도 존재함을 보여주는 도구가 됨.

8. Halting Problem

대표적인 undecidable problem 이 Halting Problem (정지 문제) 임.

(Hilbert에 대한 Turing의 답은 No!)

문제는 다음과 같음.

임의의 program $M$과 input $x$가 주어졌을 때,
$M(x)$가 언젠가 정지하는지 아니면 영원히 실행되는지를
모든 경우에 정확하게 판별하는 algorithm 이 존재하는가?

그러한 판별 machine 을 $H$라고 가정해 봄.

$$
H(\langle M\rangle,x)=
\begin{cases}
\mathrm{True}, & M(x)\text{가 정지하는 경우} \\
\mathrm{False}, & M(x)\text{가 정지하지 않는 경우}
\end{cases}
$$

이제 $H$를 이용하여 새로운 machine $D$를 구성함.

(이 $D$는 "같이보면 좋은 자료" 의 youtube 동영상에선 Bizarro 로 이름이 붙여짐= "정반대의, 왜곡된, 기괴한")

https://youtu.be/7TycxwFmdB0?si=Ap89opYYfE1k_FVo&t=395

$D$는 machine description $\langle M\rangle$을 입력받고 다음과 같이 동작함.

$H(\langle M\rangle,\langle M\rangle)$을 실행함.
$H$가 "정지함"이라고 판정하면 무한히 실행함.
$H$가 "정지하지 않음"이라고 판정하면 즉시 정지함.

즉 $H$의 예측과 반대로 행동하도록 $D$를 정의함.

이제 $D$ 자신의 description 을 $D$에 입력함.

$$
D(\langle D\rangle)
$$

두 경우를 생각할 수 있음.

$D(\langle D\rangle)$가 정지한다고 가정
- $H$는 정지한다고 판정해야 함.
- 그러나 $D$의 정의에 따라 $D$는 무한히 실행함.
- 모순임.
$D(\langle D\rangle)$가 정지하지 않는다고 가정
- $H$는 정지하지 않는다고 판정해야 함.
- 그러나 $D$의 정의에 따라 $D$는 즉시 정지함.
- 역시 모순임.

따라서 처음에 가정한 범용 판별 machine $H$는 존재할 수 없음.

Halting Problem 은
undecidable 함.

위의 내용은 Turing Machine 의 계산 능력이 부족해서 발생하는 문제가 아님.

Halting Problem이 undecidable 이라는 것은

Turing-complete 한 계산 모델 자체에도
모든 입력에 대해 항상 정답을 내는 algorithm 을 만들 수 없는 문제가 존재함을 의미함.
이는 단순히 계산 시간이나 memory 가 부족해서가 아니라, 무한한 계산 resource 를 허용하더라도 그런 범용 algorithm 자체가 존재하지 않음 (computability에 대한 문제)을 의미함
모든 경우에 유한한 단계 안에 halt 여부를 판정하는 algorithm 자체가 존재하지 않는다는 의미임.

9. Church–Turing Thesis

Turing Machine 과 computability 를 이해할 때 함께 등장하는 개념이 Church–Turing Thesis (처치–튜링 명제) 임.

핵심 주장은 다음과 같음.

직관적인 의미에서 algorithm 으로 계산 가능한 모든 것은
Turing Machine 으로 계산 가능함.

이는 수학적 theorem 이라기보다는

algorithm 이라는 비형식적인 개념과
Turing-computable 이라는 형식적인 개념을 동일시하는 thesis 임.

당시 서로 독립적으로 제안된 여러 계산 모델들이 동일한 계산 가능성의 범위를 나타낸다는 사실이 이를 강하게 뒷받침함.

대표적으로 다음 모델들이 동일한 computability 를 가지는 것으로 여겨도 됨:

Turing Machine
lambda calculus (먼저 발표되었으나 수학 논문이라 복잡한 편임)
recursive function
register machine

오늘날 Turing Machine 은

단순히 여러 계산 모델 중 하나라기보다,
algorithmic computation 의 범위를 정의하는 표준적인 기준 모델로 사용됨.

10. 전체 관계

전체적인 관계를 정리하면 다음과 같음.

Finite Automaton
      │
      │ + read/write tape memory
      ▼
Turing Machine
      │
      │ machine description을 data로 encoding
      ▼
Universal Turing Machine
      │
      ├───────> Turing Completeness
      │                 계산 가능한 범위의 기준
      │
      └───────> Computability Theory
                              │
                              ├── Decidable Problems
                              │
                              └── Undecidable Problems
                                      │
                                      └── Halting Problem

11. 핵심 정리

Turing Machine
- finite state와 읽고 쓸 수 있는 unbounded tape 를 가진 automaton 임.
- transition function 을 반복하여 computation 을 수행함.
Machine Description
- state, alphabet, transition function 등 machine 자체를 정의한 정보임.
- transition function 은 해당 machine 의 program 역할을 함.
Universal Turing Machine
- machine description $\langle M\rangle$과 input $x$를 함께 입력받음.
- $\langle M\rangle$에 기술된 transition 을 해석하여 $M(x)$를 simulation 함.
- 즉 program 자체를 data 로 다룰 수 있음을 보여줌.
Turing Completeness
- Turing Machine 으로 계산 가능한 모든 computation 을 수행할 수 있는 computational power 를 의미함.
- 계산 속도나 효율성이 아니라 계산 가능한 범위에 관한 개념임.
Computability와 Undecidability
- Turing Machine 을 이용하여 algorithm 으로 해결할 수 있는 문제의 범위를 형식적으로 정의할 수 있음.
- 동시에 Halting Problem 과 같이 어떠한 algorithm 으로도 모든 경우를 해결할 수 없는 문제도 존재함.

Turing Machine 의 가장 중요한 의미는 단순히 하나의 가상 machine 을 제안했다는 데 있지 않음.

Turing Machine 은

algorithm 과 computation 을 수학적으로 정의하고,
무엇이 계산 가능하며 무엇이 원리적으로 계산 불가능한지를 구분할 수 있게 만든
계산 가능성 이론의 기준 모델임.

같이보면 좋은 자료들

https://ds31x.tistory.com/626

Machine 이란?

ds31x.tistory.com

https://dsaint31.me/mkdocs_site/CE/ch08/ce08_programming_language/

BME

abstraction control structure high-level language low-level language programming Programming Language 어떤 주어진 문제를 해결하기 위해, 인간과 컴퓨터 사이에서 의사 소통을 가능케 하는 인공적인 언어 Natural Language(

dsaint31.me

https://youtu.be/7TycxwFmdB0?si=MffTuIRvumR-SHla

Empirical risk

dsaint31x — Wed, 12 Aug 2026 09:37:09 +0900

Population risk

Population risk는 실제 데이터 생성 분포 전체에서 모델이 평균적으로 얼마나 큰 loss를 발생시키는지를 가리킴.

입력 $X$와 정답 $Y$가 어떤 확률분포에서 발생하고,
모델 $f$의 예측 오류를 loss function $L(Y,f(X))$로 나타낸다면
population risk는 다음과 같이 정의됨:

$$
R(f)=E[L(Y,f(X))]
$$

Population risk는 loss의 expectation으로 정의 되기 때문에 expected risk라고도 흔히 불림.

여기서 expectation은 관측된 sample에 대한 평균이 아니라,
실제 데이터가 생성되는 population distribution에 대한 평균 을 의미한다.

따라서 population risk는 특정 training set에 종속된 값이 아니라,
모델이 새로운 데이터에 적용될 때 평균적으로 발생시킬 loss를 나타내는 이론적 quantity이다.

이러한 점에서 empirical quantity와 대비되는 theoretical quantity로 볼 수 있다.

expected risk
- population distribution에 대해 loss의 expectation을 계산한 값
- 가능한 (X,Y)에 대한 평균적인 loss를 의미
theoretical quantity
- 실제 관측된 sample 자체가 아니라 population distribution을 기준으로 정의됨
- 모집단 분포를 알고 있다는 이론적 조건에서 정의되는 quantity

Population risk의 단점은 실제로 구하기가 너무 어렵다는 점임.

실제 데이터 생성 분포를 일반적으로 알 수 없음.
따라서 $R(f)$는 이론적으로 정의할 수 있지만, 실제 학습에서는 직접 계산하기 어렵다.

estimation과 prediction 에 대하여

Estimation은

데이터로부터 알 수 없는 parameter나 quantity를 추정하는 것이며,

estimated value는 그 추정된 값임.

Prediction은

학습된 model을 이용하여 새로운 observation의 outcome을 예측하는 것이며,

predicted value는 그 예측된 값임.

Empirical risk

Empirical risk는 population risk를 관측된 sample을 이용하여 추정한 값 임.

여기서 empirical은 theoretical과 대비되는 표현으로,
실제 관측된 데이터에 근거하여 계산한다는 의미이다.

Training sample이 다음과 같을 경우:

$$
(x_1,y_1),\ldots,(x_n,y_n)
$$

empirical risk는 다음과 같이 정의됨:

$$
\hat R(f) = \frac{1}{n}
\sum_{i=1}^{n}
L(y_i,f(x_i))
$$

즉,

population risk
- population distribution 전체에서의 expected loss
- theoretical quantity
- 일반적으로 직접 관측 불가
empirical risk
- 실제로 관측된 sample에서의 average loss
- empirical quantity
- training data로 직접 계산 가능

Empirical risk는 population risk 그 자체가 아니라, 유한한 sample을 이용한 estimate 라는 점이 중요하다.

Sample이 달라지면 empirical risk도 달라질 수 있으며,
empirical risk가 작다고 해서 population risk가 반드시 동일하게 작다고 생각해선 안 됨.

Empirical risk minimization

Empirical risk minimization, ERM은
관측된 training sample에서 empirical risk가 가장 작아지도록 모델을 선택하는 방식을 가리킴.

$$
\hat f = \arg\min_f \hat R(f)
$$

실제 목표는 population risk가 작은 모델을 얻는 것이지만,
population risk를 직접 계산할 수 없기 때문에 empirical risk를 대신 최소화한다.

즉, ERM의 기본 논리는 다음과 같다.

궁극적 관심: population risk의 최소화
현실적 제약: population distribution을 알 수 없음
사용 가능한 정보: finite training sample
실제 optimization target: empirical risk

따라서

machine learning에서 training loss를 최소화한다는 것은
관측된 sample에서 계산한 empirical risk를 최소화함으로써,
알 수 없는 population risk도 작아질 것으로 기대하는 학습 원리로 이해할 수 있다.

사례: Class imbalance와 empirical risk

Class imbalance에서 중요한 것은

각 observation의 loss가 다르게 계산된다는 것이 아니라,
class별 observation 수가 다르다 는 점이다.

예를 들어, 다음과 같은 class imbalance가 있다고 하자:

majority class: 전체 sample의 90%
minority class: 전체 sample의 10%

이 경우 empirical risk는 단순화하여 다음과 같음:

$$
\hat R(f) = 0.9\bar L_{\mathrm{major}} + 0.1\bar L_{\mathrm{minor}}
$$

각 observation은 동일한 weight로 loss에 포함되지만,

majority class의 observation이 더 많기 때문에
해당 class에서 발생하는 loss가 전체 empirical risk에 더 많이 포함된다.

따라서,

majority class의 오류 감소가 전체 empirical risk 감소에 더 크게 기여할 수 있음
minority class의 오류는 전체 objective에서 상대적으로 작은 비중을 가질 수 있음
ERM이 frequently observed class에 더 민감하게 반응할 가능성이 생김

이러한 구조가 class imbalance correction의 기본적인 출발점임:

Re-sampling
- class별 training sample의 구성을 조정
- minority class를 oversampling하거나 majority class를 undersampling
Loss weighting 또는 cost-sensitive learning
- class별 loss가 empirical risk에 기여하는 크기를 조정
- 소수 클래스에서 발생하는 오류에 더 큰 비용이나 가중치를 주는 방식
Decision-rule adjustment
- 학습 이후 최종 prediction 단계에서 class frequency의 영향을 조정
- class probability에 보정을 적용하거나 decision threshold를 바꾸는 방식

개입(intervention) 단계는 서로 다르지만, 공통적으로 원래의 class frequency가 학습 또는 prediction에 미치는 영향을 수정함.

Fundamental Photon Attenuation Law

dsaint31x — Wed, 5 Aug 2026 20:43:31 +0900

Linear Attenuation Coefficient

Linear Attenuation Coefficient의 정의는 다음과 같음:

$$\mu=\frac{n/N_{\mathrm{in}}}{\Delta x}$$

$N_{\mathrm{in}}은$ 두께 $\Delta x$인 얇은 물질층에 입사하는 광자 수이고,
$n$은 해당 층에서 소실되는 광자 수임.

Fundamental Photon Attenuation Law

즉 다음이 성립:

$$n=\mu N_{\mathrm{in}}\Delta x$$

얇은 층을 통과한 후의 광자 수를 N'이라 하면 다음과 같음:

$$N'=N_{\mathrm{in}}-n$$

따라서 광자 수의 변화량은 다음과 같음.

$$\begin{aligned}\Delta N&=N'-N_{\mathrm{in}} \\ &=-\mu N_{\mathrm{in}}\Delta x\end{aligned}$$

연속적인 변화로 나타내면 다음과 같음.

$$dN(x)=-\mu N(x) dx$$

변수분리함.

$$\frac{dN(x)}{N(x)}=-\mu dx$$

경계조건과 $N'(x)$은 같음:

$N(0)=N_0$
$N(\Delta x)=N$
$N'(x) = \dfrac{dN(x)}{dx} \leftrightarrow dN(x)= N'(x)dx$

적분하면 다음을 얻음.

$$\int_0^{\Delta x}\frac{1}{N(x)} dN(x) = -\mu\int_0^{\Delta x}dx \\ \ln\left(\frac{N}{N_0}\right) = -\mu\Delta x$$

따라서 fundamental photon attenuation law는 다음과 같음.

$$N=N_0e^{-\mu\Delta x}$$

Heterogeneous Medium and Polyenergetic Photons

주의할 점은

Polyenergetic photon의 경우, 각 에너지 성분에 대해 다른 linear attenuation coefficient를 가짐.

때문에 같은 매질에서도 각 에너지 성분에 대해 다른 고려를 해야함.

https://www.eecis.udel.edu/~arce/files/Courses/DigImgProc/Chapter8-Imaging.pdf

또한 photon이 지나는 매질의 성분이 다를 경우, linear attenuation coef.도 다를 수 있음:

$I$: 투과된 X-ray Itensity(강도)
$E'$: photon 에너지
$S_0(E')$: 입사 X-ray photon number spectrum
$E'S_0(E')$: 입사 X-ray energy spectrum
$\mu(x';E')$: 위치와 photon 에너지에 따른 선형감쇠계수
$x'$: X-ray 진행 경로상의 위치
$x$: 물질 내 X-ray 진행 거리

같이 보면 좋은 자료들

2025.09.03 - [정리필요./PET, MRI and so on.] - Radiation Intensity

Radiation Intensity

기본 용어 (값)다음 값들은 방사선의 intensity(강도)를 표시하는데 자주 사용됨:값기호정의수식단위Photon Fluence (Fluence = 선속)($\Phi$)단위 면적을 통과한 총 광자 수 (누적)$\left(\Phi = \dfrac{N}{A}\right)$$

dsaint31.tistory.com

Electric Potential vs. Voltage vs. Electron-volts

dsaint31x — Wed, 5 Aug 2026 13:12:24 +0900

Electric Potential(전위):

전하량 q인 전하가 위치 r에서 가지는 electric potential energy가 U일 때, 그 위치의 electric potential은 다음과 같음:

$$
V=\frac{U}{q}
$$

$V$: 위치 $r$의 electric potential
$U$: 전하 $q$가 위치 $r$에서 가지는 electric potential energy
$q$: 위치 $r$에 놓인 전하의 전하량

electric potential:
어떤 위치에 charge(전하)를 놓았을 때
electric poetnetial energy(전위에너지)를 가질 수 있는 정도

Electric Potential Difference(전위차):

두 위치 A와 B의 electric potential 차이

$$
\Delta V=V_B-V_A
$$

$\Delta V$: 위치 A에서 위치 B까지의 electric potential difference
$V_A$: 위치 A의 electric potential
$V_B$: 위치 B의 electric potential

voltage(전압)라고도 부름. (volt는 단위명으로 물리량인 voltage랑 다름)

전위에너지 변화와의 관계:

$$
\Delta U=q\Delta V
$$

$\Delta U$: 위치 A에서 위치 B로 이동할 때 electric potential energy의 변화량
$q$: 이동하는 전하의 전하량
$\Delta V$: 두 위치 사이의 electric potential difference

$V$는 electric potential의 물리량 기호이고, $\mathrm{V}$는 volt라는 단위임.

Volt(볼트):

Electric potential과 electric potential difference의 단위.

$$
1\ \mathrm{V}=1\ \mathrm{J/C}
$$

$\mathrm{V}$: volt의 단위 기호
$\mathrm{J}$: joule의 단위 기호
$\mathrm{C}$:coulomb의 단위 기호

즉, $\ \mathrm{V}$ 전하 $1\ \mathrm{C}$당 에너지 $1\ \mathrm{J}$에 해당함.

eV(Electron Volt, 전자볼트):

에너지의 단위.

전하량의 크기가 e인 입자가 $1\ \mathrm{V}$의 electric potential difference를 통과할 때 변화하는 에너지의 크기를 $1\ \mathrm{eV}$라고 함.

$$
1\ \mathrm{eV}=e\times 1\ \mathrm{V} \\
1\ \mathrm{eV}=1.602\times10^{-19}\ \mathrm{J}
$$

$e$: elementary charge의 크기 $\left(1.602\times10^{-19}\ \mathrm{C}\right)$
$\mathrm{eV}$: electron volt의 단위 기호

즉, 전자 하나가 $1\ \mathrm{V}$의 전위차에 의해 가속될 때 얻는 운동에너지의 크기가 $1\ \mathrm{eV}$임.

https://youtu.be/uqAVjdg0LQA?si=e93bi-BMi-JX1gpJ

Monte Carlo와 MCMC

dsaint31x — Sun, 2 Aug 2026 21:17:26 +0900

Single-chain Metropolis-Hastings sampling. chains=1 에서 각 iteration마다 scalar state 하나를 기록하고, draws=100 , 1000 , 10000 으로 얻은 posterior sample을 red density histogram으로 나타냄. PyMC에서 draws 는 각 chain에서 tuning 이후 저장하는 sample 수이고, chains 는 독립적으로 실행하는 Markov chain 수이므로 전체 retained sample 수는 draws x chains 임. Blue curve는 target distribution이며, draw 수가 증가할수록 empirical distribution이 이에 가까워짐. Red histogram의 y-axis는 sample count가 아니라 probability density이므로 narrow bin에 sample이 집중되면 높이가 1을 초과할 수 있으며, 전체 histogram의 area는 1로 normalized됨.

Monte Carlo

Monte Carlo는

random sample을 반복 생성하여
expectation, probability, integral 등을
numerical approximation하는 방법의 총칭.

다음과 같이 목표분포 $\pi$에서 직접 sampling이 가능한 경우:

$$
X_1, X_2, \ldots, X_N
\overset{\mathrm{IID}}{\sim}
\pi
$$

$X_i$: $i$번째 sample
$i$: sampling index
$N$: 전체 sample 수
$\pi$: target distribution

IID(independent and identically distributed) 이므로 다음을 만족:

각 $X_i$는

동일한 target distribution에서 생성되며
서로 independent함.

[Math] Random Sampling

Random Sampling Random Sampling은 다음을 가르킴.Population(모집단)에서 element를 각각 무작위(random)로 선택하여 얻는sampling method(샘플링, 표본추출)을 가르킴. Statstics에서일반적으로 "제한된 수의 sample들

dsaint31.tistory.com

따라서, Monte Carlo에선

sampling index는 생성 순서만 표시함.
MC에서는 순서(index) 자체에 특별한 statistical meaning이 없음.

생성된 sample을 이용하여 expectation을 다음과 같이 approximation함.

$$
E_{\pi}[f(X)]
\approx
\frac{1}{N}
\sum_{i=1}^{N} f(X_i)
$$

예: Dataset을 반복 생성하는 Monte Carlo simulation

한 번의 Monte Carlo iteration에서 100개 instance로 구성된 dataset 하나를 생성한다고 가정.

$$
\mathcal{D}_r = \{X_{r,1},X_{r,2},\ldots,X_{r,100}\}
$$

$r$: Monte Carlo iteration index
$i$: dataset 내부의 instance index
$X_{r,i}$: $r$번째 iteration에서 생성된 $i$번째 instance
$\mathcal{D}_r$: $r$번째 iteration에서 생성된 dataset

1000회 반복한 경우:

$$
\mathcal{D}_1,\mathcal{D}_2,\ldots,\mathcal{D}_{1000}
$$

1000번째 dataset:

$$
\mathcal{D}_{1000} = {X_{1000,1},X_{1000,2},\ldots,X_{1000,100}}
$$

일반적인 Monte Carlo simulation에서는 각 dataset이 서로 다음과 같이 independently generated됨.

$$
\mathcal{D}_r \perp \mathcal{D}_{r+1}
$$

같은 dataset 내부의 $X_{r,n}$ instance 와 $X_{r,n+1}$가 independent한지는 data-generating model에 따라 달라짐.

즉,

Repeated measurement, cluster, longitudinal data 등을 simulation한다면
같은 dataset 내부의 instance가 correlated될 수 있음.

이는 Monte Carlo iteration 사이의
dependence와는 별개의 문제.

MCMC

MCMC는 Markov Chain Monte Carlo의 약자.

Target distribution에서 직접 sampling하기 어려운 경우,
해당 distribution을 stationary distribution으로 가지는 Markov chain을 구성하여
sample을 생성하는 Monte Carlo method.

Markov chain:

$$
S_0,S_1,S_2,\ldots
$$

$t$: MCMC iteration index
$S_t$: $t$번째 iteration의 chain state
$S_0$: initial state

2022.10.14 - [.../Math] - [LA] Markov Chain

[LA] Markov Chain

Markov Chain: 1907년 Markov가 제안한 확률모델. 강화학습과 베이지안 확률모델에서 많이 사용됨.Markov Chain은 Markov Property를 가지고 있는 Discrete-Time Stochastic Process (또는 Discrete-Time Random Process)를 의미함

dsaint31.tistory.com

Markov chain에서 다음 state는 현재 state를 기반으로 생성됨.

$$
S_{t+1} \sim P(S_{t+1}\mid S_t)
$$

따라서 MCMC sample $S_t$와 $S_{t+1}$은 일반적으로 independent하지 않음

(MC와의 차이점).

이처럼 iteration index를 따라 가까운 sample들이 correlated되는 현상을
serial correlation 또는 autocorrelation이라 함.

Parameter vector를 sampling하는 경우

Bayesian model에서 하나의 chain state는 여러 parameter로 구성될 수 있음.

$$
S_t = (\mu_t,\sigma_t,\beta_t)
$$

Autocorrelation은 동일한 parameter를 iteration 방향으로 비교한 관계에서 성립:

이 경우,

$\mu_t$ 와 $\mu_{t+1}$ 은 serial correlation 관계임.
$\sigma_t$ 와 $\sigma_{t+1}$도 serial correlation 관계임.

반면 "같은 iteration"의 $\mu_{t}$와 $\sigma_t$의 관계는 autocorrelation이 아니라 posterior correlation 임.

2025.05.27 - [.../Math] - Bayes' Theorem (Update Your Beliefs with Evidence): Bayesian

Bayes' Theorem (Update Your Beliefs with Evidence): Bayesian

1. 정리$N$개의 event (사상,사건)인 $H_0, H_1, ... , H_{N-1}$ 들이sample space $S$의 partition(전부 모이면 $S$를 이룸)이면서,$P(H_i) >0$ 을 만족하고,Event $E$가 sample space $S$의 임의의 Event이며 $P(E)>0$이면 다음이

dsaint31.tistory.com

예: Dataset 전체가 chain state인 경우

하나의 chain state가 100개 instance로 구성된 dataset이라고 가정.

$$
S_t = \mathcal{D}_t = \{X_{t,1},X_{t,2},\ldots,X_{t,100}\}
$$

MCMC autocorrelation은 다음에서 성립:

$\mathcal{D}_t$ 와 $\mathcal{D}_{t+1}$
$X_{t,n}$ 과 $X_{t+1,n}$ (같은 component 기준)

반면, $X_{t,n}$ 과 $X_{x,n+1}은 같은 iteration 내부의 서로 다른 instance 이므로 MCMC autocorrelation과 관계없음.

즉, 다음이 성립.

두 instance 사이의 correlation은 data-generating model에 의해 결정되며,
MCMC autocorrelation을 의미하지 않음.

Burn-in과 convergence

앞서 살펴본 MCMC의 속성상

초기 iteration에서는 chain이 initial state의 영향을 크게 받을 수 있음.

따라서 초기 sample 일부를 burn-in 또는 warm-up으로 제외함.

적절한 조건이 만족되면 $t$가 증가할수록 $S_t$의 distribution은 target distribution에 수렴함.

다만 burn-in 이후의
sample도
일반적으로 IID가 아님.

확인해야 할 주요 diagnostic:

Convergence
Autocorrelation
Effective sample size
Chain mixing
Divergence

대표적인 MCMC algorithm

Metropolis algorithm
Metropolis-Hastings algorithm
Gibbs sampling
Hamiltonian Monte Carlo, HMC
No-U-Turn Sampler, NUTS

MCMC를 가능케 해주는 PyMC의 기본 알고리즘인 NUTS는 HMC를 확장한 algorithm임:

HMC는 gradient와 Hamiltonian dynamics를 이용하여 posterior space를 탐색하는 trajectory lenght가 hyper-parameter임.
NUTS는 trajectory가 되돌아오기 시작하는 시점을 감지하여 trajectory length를 자동으로 결정해줘서 더 실용적임.

PyMC에서는
continuous parameter를 포함한
일반적인 Bayesian model에
주로 NUTS가 사용됨.

Monte Carlo와 MCMC의 차이

구분	Monte Carlo	MCMC
Sampling	Target distribution에서 직접 sampling	Markov chain을 통해 간접 sampling
Sample 관계	일반적으로 IID	일반적으로 autocorrelated
이전 sample 사용	사용하지 않음	다음 sample 생성에 사용
Index 의미	생성 순서만 표시	Chain iteration을 표시
Index 순서	일반적으로 중요하지 않음	중요함
주요 사용 조건	Direct sampling이 가능함	Direct sampling이 어려움
추가 고려사항	Monte Carlo error	Burn-in, convergence, autocorrelation, ESS

Monte Carlo는 random sample을 이용한 numerical approximation의 전체 범주.
MCMC는 Markov chain을 이용하여 target distribution으로부터 correlated sample을 생성하는 Monte Carlo method.

같이보면 좋은 자료들

https://gist.github.com/dsaint31x/ddade891d7ee5a5646d83e2745971569

pymc_mcmc.ipynb

pymc_mcmc.ipynb. GitHub Gist: instantly share code, notes, and snippets.

gist.github.com

https://liveyourit.tistory.com/147

MCMC (Markov Chain Monte Carlo) 샘플링

MCMC는 진짜... 해도해도 이해가 안가고 할수록 더 이해가 안가는 모델인 것 같다.... 원래 논문 실험을 할 때 샘플링을 할 일이 있어서 (결국 안쓰게 됐지만) 그때 MCMC를 정리해놨던게 있는데 여기

liveyourit.tistory.com

HalfNormal Distribution

dsaint31x — Wed, 22 Jul 2026 16:57:43 +0900

HalfNormal distribution(반정규분포)은

평균이 0인 Normal distribution에서 음수 값을 제거한 뒤,
남은 확률밀도를 다시 정규화하여 만든 확률분포.

가능한 값은 항상 0 이상이며,

standard deviation(표준편차)와 같이 음수가 될 수 없는 parameter(모수)를 표현하는 데 널리 사용됨.
(PyMC 등의 MCMC 기반 Bayesian framework 에서 prior distribution으로 자주 사용됨.)

정규분포에서 HalfNormal 분포로

mean, $\mu=0$ 이고 standard deviation 이 $\sigma$인 normal distirbution 은 다음과 같이 표기됨:

$$
Z \sim \mathcal{N}(0,\sigma^2)
$$

Normal distribution(정규분포)는

0을 중심으로 좌우가 대칭이며,
전체 면적은 1이다.
따라서 양수 영역과 음수 영역의 면적은 각각 0.5를 차지.

code:

import numpy as np
import matplotlib.pyplot as plt

sigma = 1

x = np.linspace(-4, 4, 1000)

pdf = (
    1/(sigma*np.sqrt(2*np.pi))
    * np.exp(-x**2/(2*sigma**2))
)

plt.figure(figsize=(7,4))
plt.plot(x, pdf, lw=2)
plt.fill_between(x, pdf, where=(x>=0), alpha=0.3)
plt.fill_between(x, pdf, where=(x<0), alpha=0.3)
plt.axvline(0, ls="--", color="k")
plt.xlabel("x")
plt.ylabel("Density")
plt.tight_layout()
plt.show()

HalfNormal distribution은 Normal distribution에서 절댓값을 취한 분포와 동일:

$$ X=|Z| $$

즉, 다음이 성립:

$$
Z\sim\mathcal N(0,\sigma^2) \\
X\sim\operatorname{HalfNormal}(\sigma)
$$

음수 영역의 확률이 모두 양수 영역으로 접히므로,
양수 영역의 확률밀도는 기존 Normal distribution 보다 두 배 커진다.

$$
f_{\text{HalfNormal}}(x) = 2f_{\text{Normal}}(x), \qquad x\ge0
$$

HalfNormal의 확률밀도함수 (PDF)

HalfNormal distribution의 확률밀도함수는 다음과 같음:

$$
f(x) =
\sqrt{\frac{2}{\pi}}
\frac1{\sigma}
\exp\left(
-\frac{x^2}{2\sigma^2}
\right),
\qquad x\ge0
\\
\text{where, } \\
f(x)=0,\qquad x<0
$$

곡선 아래의 전체 면적은 1이며,
확률밀도는 $x=0$에서 가장 크고 이후 계속 감소.

import numpy as np
import matplotlib.pyplot as plt

sigma = 1

x = np.linspace(0,4,1000)

pdf = (
    np.sqrt(2/np.pi)/sigma
    * np.exp(-x**2/(2*sigma**2))
)

plt.figure(figsize=(7,4))
plt.plot(x,pdf,lw=2)
plt.fill_between(x,pdf,alpha=0.3)
plt.scatter([0],[pdf[0]],color="red")
plt.xlabel("x")
plt.ylabel("Density")
plt.tight_layout()
plt.show()

$\sigma$ 의 의미

$\sigma$는 분포가 얼마나 넓게 퍼질지를 결정하는 scale parameter 임:

작은 $\sigma$: 대부분의 값이 0 근처에 집중된다.
큰 $\sigma$: 큰 값도 비교적 자주 허용된다.

아래 그림은 서로 다른 $\sigma$의 HalfNormal 의 예를 보여줌:

import numpy as np
import matplotlib.pyplot as plt

x = np.linspace(0,8,1000)

for sigma in [0.5,1,2]:
    pdf = (
        np.sqrt(2/np.pi)/sigma
        * np.exp(-x**2/(2*sigma**2))
    )
    plt.plot(x,pdf,label=f"σ={sigma}")

plt.xlabel("x")
plt.ylabel("Density")
plt.legend()
plt.tight_layout()
plt.show()

Bayesian 분석에서의 활용

HalfNormal distribution은 항상 양수만 가지므로 음수가 될 수 없는 parameter 의 prior(사전분포)로 자주 사용됨.

대표적인 예는 다음과 같다.

랜덤효과의 표준편차
측정오차의 표준편차
그룹 간 변동성

예를 들어 PyMC에서는 다음과 같이 정의할 수 있다.

sigma_patient = pm.HalfNormal(
    "sigma_patient",
    sigma=1.0
)

위의 코드에서 sigma_patient(환자 간 변동의 표준편차)는

반드시 0 이상이며,
작은 값을 더 선호하지만
데이터가 충분하면 더 큰 값도 허용한다는 사전의 믿음(?)을 의미 = prior.

같이보면 좋은 자료

https://distribution-explorer.github.io/continuous/halfnormal.html

Half-Normal distribution — Probability Distribution Explorer documentation

Story The Half-Normal distribution is a Normal distribution truncated to only have nonzero probability density for values greater than or equal to the location of the peak.

distribution-explorer.github.io

2023.10.25 - [.../Math] - [Math] Normal Distribution (정규분포, Gaussian Distribution)

[Math] Normal Distribution (정규분포, Gaussian Distribution)

Normal DistirbutionGaussian Distribution, Laplace-Gaussian Distribution 라고도 불림. 특히, mean=0이고, std=1인 경우, Standard Normal Distribution이라고 불림.1. 정의Normal Distribution의 pdf (probability density function)는 다음과

dsaint31.tistory.com

2025.05.27 - [.../Math] - Bayes' Theorem (Update Your Beliefs with Evidence)

Bayes' Theorem (Update Your Beliefs with Evidence)

dsaint31.tistory.com

2024.04.18 - [.../Math] - [Math] Probability Distribution

[Math] Probability Distribution

Probability Distribution : Probability Distribution은 특정 random variable(확률 변수)이 취할 수 있는 각각의 값에 대한 확률을 나타내는 분포임.Probability Distribution Function (PDF)으로 기술되며,random variable이 어떤

dsaint31.tistory.com

DropPath 와 Stochastic Depth

dsaint31x — Fri, 10 Jul 2026 16:03:59 +0900

DropPath와 Stochastic Depth는
학습 중 residual branch 또는 계산 경로 전체를 확률적으로 제거하여
특정 경로에 대한 의존성을 줄이는 regularization 기법임.

현재 timm, Hugging Face Transformers 및 여러 vision model 구현에서는

DropPath를 per-sample Stochastic Depth와 거의 같은 의미로 사용함.
timm의 DropPath 구현도 코드 주석에서 이를 명시적으로 per-sample stochastic depth라고 설명

2024.10.27 - [Programming/ML] - [ML] Regularization

[ML] Regularization

Regularization 이란?기계 학습과 딥러닝에서 Regularization은 모델이 overfitting(과적합)되지 않도록 도와주는 기법을 의미함.Overfitting(과적합)은 모델이 훈련 데이터에 너무 잘 맞아 새로운 데이터에 대

dsaint31.tistory.com

1. 개념과 역사

1.1 Stochastic Depth

Stochastic Depth는

Gao Huang, Yu Sun, Zhuang Liu, Daniel Sedra, Kilian Weinberger가
2016년 발표한 Deep Networks with Stochastic Depth에서 제안된 기술임.

https://arxiv.org/abs/1603.09382

Deep Networks with Stochastic Depth

Very deep convolutional networks with hundreds of layers have led to significant reductions in error on competitive benchmarks. Although the unmatched expressiveness of the many layers can be highly desirable at test time, training very deep networks comes

arxiv.org

원 논문의 핵심 아이디어는 다음과 같음.

매우 깊은 ResNet을 구성함.
학습 중에는 일부 residual block을 무작위로 제거하고 제거된 residual block은 skip connection을 통해 우회함.
평가 시에는 전체 residual block을 사용함.

이를 통해

학습 중에는 원래 network보다 얕은 subnetwork를 무작위로 사용하고,
평가 시에는 원래의 깊은 network 전체를 사용하게 함.

주의할 점은 원 논문의 경우 residual block의 활성화 여부를 mini-batch 단위로 결정했음.

따라서 하나의 mini-batch에 포함된 모든 sample은 동일한 residual block 구성을 사용함.

또한 residual block을 실행하기 전에 활성화 여부를 결정하도록 구현함

제거된 residual block의 forward와 backward 계산을 실제로 생략할 수 있도록 설계됨.
이를 통한 훈련 중 계산량 이득이 있었고 훈련 속도가 빨라지는 장점도 누림.

stochastic 의 뜻에 대한 자세한 자료: 2024.02.23 - [.../Math] - [Math] Random이란?

[Math] Random이란?

Random: Random은주로 non-determinstic 인 "정해진 패턴 또는 순서없이" 결과가 발생하는 것을 개별 사건이나 값등을 의미하는 경우가 많다. Deterministc인 경우,function (or differential equation) 등을 이용한 모

dsaint31.tistory.com

residual block에 대한 참고자료: https://dsaint31.me/mkdocs_site/ML/ch14_cnn/resnet/#residual-block

BME

computer vision image classification residual learning resnet shortcut connection skip connection ResNet: Deep Residual Learning for Image Recognition (2015) ref.: original paper, Deep Residual Learning for Image Recognition ILSVRC 2015 우승 모델이며

dsaint31.me

1.2 Drop-path

drop-path라는 용어는

2016년 Gustav Larsson, Michael Maire, Gregory Shakhnarovich의
FractalNet: Ultra-Deep Neural Networks without Residuals에서 제시됨.

FractalNet은 입력에서 출력까지 여러 개의 병렬적인 계산 경로를 가지는 network 였음.

Dropout이 개별 activation을 제거하여 neuron 사이의 co-adaptation을 줄이는 것처럼,
drop-path는 계산 경로 전체를 제거하여 path 사이의 co-adaptation을 줄이는 방법 으로 제안.

즉, FractalNet에서의 drop-path는 다음과 같은 방법임.

개별 activation이 아니라 subpath 전체를 제거함.
하나의 path가 제거되어도 다른 계산 경로가 남도록 함.
여러 path가 서로 지나치게 의존하는 현상을 억제함.

사실 논문의 FractalNet은 residual connection이 없는 구조였음.

즉, drop-path가 반드시 ResNet의 identity skip connection을 요구하는 것은 아님.

핵심 조건은 다음과 같음.

Drop-path를 사용하려면
하나의 path가 제거되더라도
입력에서 출력까지 다른 유효한 계산 경로가 남아 있어야 함.

1.3 현대적인 용어 사용

역사적으로 두 용어의 출발점은 다음과 같이 구분됨.

Stochastic Depth : ResNet의 residual block을 무작위로 우회하는 방법
Drop-path : FractalNet의 계산 subpath를 무작위로 제거하는 방법

그러나 오늘날에는 두 용어가 거의 같은 의미로 사용되고 있음:

timm의 DropPath는 코드에서 per-sample Stochastic Depth로 설명되어 있음.
Hugging Face Transformers의 여러 vision model도 유사한 방식으로 구현함.

현재 실무에서는 다음과 같이 구분하여 이해할 수 있음.

Stochastic Depth : regularization 기법의 일반적인 이름
DropPath : 해당 기법을 구현한 module 또는 layer의 이름

2. DropPath의 효과

2.1 Regularization 효과

DropPath는 학습 중 residual branch 일부(학습패스)를 무작위로 제거함.

따라서 뒤쪽 block이 특정 앞쪽 block의 출력에 지나치게 의존하는 현상을 줄일 수 있음.
매 iteration마다 다른 residual path 조합이 사용되므로,
하나의 고정된 깊은 network만 학습하는 것이 아니라
여러 깊이와 여러 path 조합을 공유 parameter로 학습하는 효과가 발생함.

넓은 의미에서
여러 subnetworks를 함께 학습하는
implicit ensemble과 유사하게 해석할 수 있음.

주요 목적은 다음과 같음.

특정 residual branch에 대한 과도한 의존성 억제
path 또는 block 사이의 co-adaptation 감소
overfitting 완화
generalization 성능 개선

2.2 실제 계산량과 학습 시간

원래 Stochastic Depth 논문 방식

residual block의 활성 여부를 먼저 결정함.
이 확률에 따라 제거된 residual block은 forward와 backward 계산 자체를 수행하지 않았음.

따라서 원 논문의 방식은 다음과 같은 효과를 가질 수 있었음.

학습 중 기대 network depth 감소
forward 계산량 감소
backward 계산량 감소
학습 시간 감소

그러나 현대적인 timm 또는 Hugging Face 구현은 일반적으로 다음 순서로 동작함.

residual = block(x)
residual = drop_path(residual)
output = x + residual

이 경우 block(x)를 이미 계산한 뒤에 DropPath mask를 적용함.

residual branch가 최종적으로 0이 되더라도 이미 residual block의 연산은 이미 수행된 상태임.

결과적으로 현대적인 DropPath layer는 regularization 효과는 제공하지만, 실제 FLOPs나 학습 시간을 거의 줄이지 못함.

참고로 per-sample 방식을 사용할 경우,

같은 mini-batch 안에서도 유지되는 sample과 제거되는 sample이 섞여 있으므로,
일반적인 dense GPU 연산에서 일부 sample의 branch 계산만 효율적으로 생략하기 어려움.

정리하면 다음과 같음.

구현방식	Residual branch 계산	실제 계산량 감소
원 논문의 conditional block 실행	mask를 먼저 결정하고 필요한 block만 계산	가능
일반적인 현대 DropPath layer	branch를 계산한 뒤 mask 적용	거의 없음

3. DropPath의 동작 원리

3.1 Residual block의 기본 구조

일반적인 residual block은 다음과 같이 표현:

$$ \textbf{y} = \textbf{x} + F(\textbf{x}) $$

$\textbf{x}$ : identity path를 통해 전달되는 입력
$F(\textbf{x})$ : convolution, attention 또는 MLP 등의 변환을 수행하는 residual branch
$\textbf{y}$ : identity path와 residual branch를 더한 출력

Identity path는 입력 tensor를 그대로 전달하며
Residual branch는 입력 tensor에 특정 변환을 수행함.

DropPath는 일반적으로 다음 코드처럼
identity path가 아니라 residual branch의 출력에 적용됨.

residual = block(x)
residual = drop_path(residual)
output = x + residual

수학적으로는 다음 구조에 해당함.

$$ \textbf{y} = \textbf{x} + \operatorname{DropPath} \left( F(\textbf{x}) \right) $$

DropPath에 의해 residual branch가 제거되더라도
identity path를 통해 입력 $\textbf{x}$는 계속 전달됨.

3.2 원래 Stochastic Depth의 동작

$\ell$번째 residual block의 survival probability를 $q_\ell$이라고 하면,
Residual branch의 활성 여부를 결정하는 Bernoulli 변수 $b_\ell$은 다음과 같음.

$$ b_\ell \sim \operatorname{Bernoulli}(q_\ell) $$

여기서 $b_\ell$은 다음 두 값 중 하나를 가짐:

$$
b_\ell = \begin{cases} 1, & \text{residual branch를 사용하는 경우} \\ 0, & \text{residual branch를 제거하는 경우} \end{cases}
$$

2023.08.17 - [.../Math] - [Math] Bernoulli Distribution (베르누이 분포)

[Math] Bernoulli Distribution (베르누이 분포)

Bernoulli distribution (베르누이 분포)은 Probability Distribution에서 가장 단순한 분포 중 하나 임. 주로 binary classification task에서 많이 사용됨.1. Bernoulli Trial결과가 2가지 중 하나로만 나오는 trial(시행, 시

dsaint31.tistory.com

원래 Stochastic Depth 논문의 학습 과정은 다음과 같이 표현할 수 있음.

$$ \textbf{y}_\ell = \textbf{x}_\ell + b_\ell F_\ell(\textbf{x}_\ell) $$

$b_\ell=1$ : residual branch를 사용함.
$b_\ell=0$ : residual branch를 제거함.
$q_\ell$ : residual branch가 유지될 확률임.

참고로, 원 논문에서는 학습 시 유지된 residual branch를 $q_\ell$로 나누지 않았음.

대신 평가 시에는 모든 residual branch를 활성화하고, 각 residual branch의 출력에 survival probability를 곱함.

$$
\textbf{y}_\ell^{\mathrm{eval}} = \textbf{x}_\ell^{\mathrm{eval}} + q_\ell F_\ell \left( \textbf{x}_\ell^{\mathrm{eval}} \right)
$$

이는 학습 중 residual branch 출력의 기댓값이 다음과 같기 때문임.

$$
\mathbb{E} \left[ b_\ell F_\ell(\textbf{x}) \right] = q_\ell F_\ell(\textbf{x})
$$

즉, 원래 Stochastic Depth는 평가 시 scaling을 적용하는 방식을 사용함.

3.3 현대적인 inverted DropPath

현재 Torchvision, timm, Hugging Face Transformers 등의 구현에서는
일반적으로 inverted Dropout과 같은 방식을 사용함.

학습 시 유지된 residual branch를 survival probability $q_\ell$로 나눔.

$$\textbf{y}_\ell = \textbf{x}_\ell + \frac{b_\ell}{q_\ell} F_\ell(\textbf{x}_\ell)$$

Residual branch 출력의 기댓값은 다음과 같음.

$$ \mathbb{E} \left[ \frac{b_\ell}{q_\ell} F_\ell(\textbf{x}) \right] = F_\ell(\textbf{x}) $$

따라서 평가 시에는 별도의 scaling이 필요하지 않음.

$$\textbf{y}_\ell^{\mathrm{eval}} = \textbf{x}_\ell^{\mathrm{eval}} + F_\ell \left( \textbf{x}_\ell^{\mathrm{eval}} \right) $$

Drop probability를 $p_\ell$이라고 하면 survival probability는 다음과 같음.

$$ q_\ell = 1-p_\ell $$

정리하면 다음과 같음.

방식	학습 시 유지된 residual branch	평가 시 residual branch
원래 Stochastic Depth	$F(\textbf{x})$	$qF(\textbf{x})$
현대적인 inverted DropPath	$\dfrac{1}{q}F(\textbf{x})$	$F(\textbf{x})$

현재 Torchvision과 timm의 기본 구현은 inverted DropPath 방식에 해당함.

3.4 Mini-batch 단위와 sample 단위

3.4.1 Mini-batch 단위 Stochastic Depth

원래 Stochastic Depth 논문에서는 residual block의 활성화 여부를 mini-batch 단위로 결정함.

입력이 다음과 같은 CNN feature map이라고 가정한다면

$$ \textbf{x} \in \mathbb{R}^{B\times C\times H\times W} $$

$B$ : batch size
$C$ : channel 수
$H$ : feature map의 높이
$W$ : feature map의 너비

Mini-batch 전체에 동일한 결정을 적용하는 mask는 다음과 같은 shape을 가짐:

$$ \textbf{m} \in \mathbb{R}^{1\times1\times1\times1} $$

실질적으로는 하나의 Bernoulli scalar 값임.

따라서 해당 residual branch는 다음 두 상태 중 하나가 됨.

mini-batch의 모든 sample에서 활성화됨.
mini-batch의 모든 sample에서 제거됨.

3.4.2 Per-sample Stochastic Depth

현재 timm과 Hugging Face Transformers의 일반적인 DropPath 구현은 sample마다 독립적인 Bernoulli 값을 생성함.

CNN feature map의 입력이 다음과 같다고 가정하면

$$ \textbf{x} \in \mathbb{R}^{B\times C\times H\times W} $$

DropPath mask의 shape은 다음과 같음:

$$ \textbf{m} \in \mathbb{R}^{B\times1\times1\times1} $$

Mini-batch의 $i$번째 sample에 적용되는 mask 값을 $m_i$라고 하면 다음과 같이 동작함.

$$ \widetilde{\textbf{x}}_i = \frac{m_i}{q} \textbf{x}_i $$

$m_i$는 하나의 scalar 값이지만 broadcasting을 통해 $i$번째 sample의 모든 channel과 모든 spatial position에 적용됨.

따라서 한 sample 안에서 일부 pixel이나 일부 channel만 제거되는 것이 아님.

$m_i=0$ : 해당 sample의 residual branch 출력 전체가 0이 됨.
$m_i=1$ : 해당 sample의 residual branch 출력 전체가 (1/q)배로 유지됨.

2022.09.27 - [Programming/DIP] - [NumPy] Broadcasting

[NumPy] Broadcasting

0. Broadcasting이란?tensor와 scalar를 연산시킬 때 scalar를 상대 tensor와 같은 shape이면서 해당 scalar의 값을 가진 tensor로 변경시키고나서 이 scalar로부터 만들어진 tensor와 상대 tensor를 동작시키는 방식

dsaint31.tistory.com

3.5 CNN과 Transformer의 mask shape

3.5.1 CNN feature map

CNN feature map이 다음 shape을 가진다고 가정하면

$$ \textbf{x} \in \mathbb{R}^{B\times C\times H\times W} $$

일반적인 per-sample DropPath mask는 다음 shape을 가짐.

$$\textbf{m} \in \mathbb{R}^{B\times1\times1\times1}$$

따라서 하나의 sample에서는 다음 요소에 동일한 mask 값이 적용됨.

모든 channel
모든 높이 위치
모든 너비 위치

즉, sample 단위로 residual branch 출력 전체가 유지되거나 제거됨.

3.5.2 Transformer hidden state

Transformer의 hidden state는 일반적으로 다음 shape을 가짐.

$$ \textbf{x} \in \mathbb{R}^{B\times N\times C} $$

$B$ : batch size
$N$ : token 수
$C$ : embedding dimension

DropPath mask의 shape은 다음과 같음:

$$\textbf{m} \in \mathbb{R}^{B\times1\times1}$$

따라서 하나의 sample에서는 모든 token과 모든 embedding dimension에 동일한 mask 값이 적용됨.

$$ \widetilde{\textbf{x}}_i = \frac{m_i}{q} \textbf{x}_i $$

즉, Transformer의 DropPath는 다음과 같은 동작이 아님.

특정 token만 제거하는 방법이 아님.
특정 embedding element만 제거하는 방법이 아님.
attention probability 일부만 제거하는 방법이 아님.

한 sample의 residual branch 출력 전체를 유지하거나 제거하는 방법임.

3.6 제거되는 residual branch의 범위

DropPath를 단순히 "block 전체를 제거한다"고 이해하는 경우가 많지만,
실제로는 DropPath가 삽입된 residual branch의 출력이 제거되는 것임.

다음과 같은 residual block에서는 전체 변환 branch가 제거됨.

x = x + drop_path(block(x))

그러나 Transformer block은 다음과 같이 attention과 MLP에 각각 residual addition을 가짐.

x = x + drop_path(attention(norm1(x)))
x = x + drop_path(mlp(norm2(x)))

이 경우 DropPath는 다음 두 residual branch에 각각 적용될 수 있음.

attention residual branch
MLP residual branch

따라서 Transformer에서 DropPath가 항상 block 전체를 한 번에 제거하는 것은 아님.

보다 정확한 설명은 다음과 같음.

DropPath는
DropPath module이 삽입된
residual branch의 출력을 제거함.

실제 제거 범위는 model의 block 구현에 따라 달라질 수 있음.

3.7 Skip connection과 대체 경로

DropPath를 적용하려면
하나의 path가 제거되더라도
입력에서 출력까지 다른 유효한 계산 경로가 남아 있어야 함.

현대적인 residual network에서는 identity 또는 projection skip connection이 대체 경로를 제공함.
실제로 FractalNet처럼 여러 병렬 path를 가진 구조에서 identity skip connection이 없어도 drop-path를 적용할 수 있었음.

따라서 skip connection 자체가 필수 조건은 아니며, 제거된 path를 대신할 다른 계산 경로가 존재하는지가 핵심임.

4. 깊이에 따른 DropPath probability

4.1 Survival probability와 drop probability

Residual branch가 유지될 확률을 survival probability라고 함.
Residual branch가 제거될 확률을 drop probability라고 함.

이 둘의 관게는 다음과 같음:

$$ q_\ell = 1-p_\ell$$

따라서 survival probability가 감소하면 drop probability는 증가함.

4.2 Linear decay of survival probability with depth

현대적인 vision model에서는 모든 block에 동일한 DropPath probability를 적용하지 않는 경우가 많음.

일반적으로 다음과 같은 방식을 사용함.

입력에 가까운 block : 낮은 drop probability
출력에 가까운 block : 높은 drop probability

원래 Stochastic Depth 논문에서는 survival probability가 network depth에 따라 선형적으로 감소하도록 설정함.

$\ell$번째 residual block의 survival probability는 다음과 같이 나타낼 수 있음.

$$ q_\ell = 1 - \frac{\ell}{L} \left( 1-q_L \right) $$

$L$ : 전체 residual block 수
$q_L$ : 마지막 residual block의 survival probability
$\ell$ : residual block의 깊이

Drop probability는 다음과 같음.

$$ p_\ell = 1-q_\ell $$

따라서 survival probability는 깊이에 따라 선형적으로 감소하고, drop probability는 깊이에 따라 선형적으로 증가함.

이 때문에 다음 두 표현이 모두 사용될 수 있음.

linear decay of survival probability
linear increase of drop probability

4.3 앞쪽 block의 probability가 낮은 이유

일반적인 linear schedule에서는 입력에 가까운 block을 더 높은 확률로 유지함.

앞쪽 block에서 생성된 representation은 뒤쪽의 여러 block이 공통적으로 사용함.
따라서 앞쪽 block이 자주 제거되면 이후 block에 전달되는 기본 representation이 지나치게 불안정해질 수 있음.

앞쪽 block은 일반적으로 다음과 같은 비교적 기초적인 특징을 형성함.

edge
texture
local pattern
기본적인 spatial structure

뒤쪽 block은 일반적으로 다음과 같은 보다 추상적인 특징을 형성함.

object part
semantic pattern
class-specific representation
task-specific feature

이는 일반적인 deep vision model에서 적용되는 것으로 모든 model과 dataset에서 반드시 동일하게 성립하는 규칙은 아님.

4.4 Block별 probability 계산 예

현대적인 구현에서는 전체 block 수가 $L$일 때 입력에 가까운 첫 block의 drop probability를 $0$, 마지막 block의 drop probability를 $p_{\max}$로 설정하는 경우가 많음.

Block index를 $i=0,\ldots,L-1$이라고 하면 다음과 같이 계산할 수 있음.

$$ p_i = \frac{i}{L-1} p_{\max} $$

예를 들어 block이 4개이고 최대 DropPath probability가 다음과 같다고 가정함.

$$ L=4, \qquad p_{\max}=0.2 $$

각 block의 drop probability는 다음과 같음.

$$ \left[ p_0, p_1, p_2, p_3 \right] = \left[ 0, 0.0667, 0.1333, 0.2 \right]$$

이에 대응하는 survival probability는 다음과 같음.

$$\left[ q_0, q_1, q_2, q_3 \right] = \left[ 1, 0.9333, 0.8667, 0.8 \right] $$

즉, 앞쪽 block일수록 높은 확률로 유지되고, 뒤쪽 block일수록 높은 확률로 제거됨.

5. Framework별 구현

5.1 Torchvision의 `StochasticDepth`

Torchvision은 torchvision.ops.StochasticDepth를 제공함.

다음 두 mode를 지원:

mode="row" : batch의 sample별로 독립적인 mask를 적용함.
mode="batch" : 입력 tensor 전체에 하나의 mask를 적용함.

5.1.1 `mode="row"`

mode="row"는 per-sample Stochastic Depth에 해당함.

from torch import nn
from torchvision.ops import StochasticDepth


class ResidualBlock(nn.Module):
    def __init__(self, dim, drop_path_prob=0.1):
        super().__init__()

        self.block = nn.Sequential(
            nn.Linear(dim, dim),
            nn.GELU(),
            nn.Linear(dim, dim),
        )

        self.drop_path = StochasticDepth(
            p=drop_path_prob,
            mode="row",
        )

    def forward(self, x):
        residual = self.block(x)
        residual = self.drop_path(residual)

        return x + residual

수학적으로는 다음 구조에 해당함.

$$ \textbf{y} = \textbf{x} + \operatorname{DropPath} \left( F(\textbf{x}) \right)$$

입력이 다음과 같은 Transformer hidden state라면

$$ \textbf{x} \in \mathbb{R}^{B\times N\times C} $$

mask는 다음과 같은 broadcast 가능한 shape을 가짐.

$$ \textbf{m} \in \mathbb{R}^{B\times1\times1} $$

따라서 batch의 sample마다 residual branch를 독립적으로 유지하거나 제거함.

5.1.2 `mode="batch"`

원래 Stochastic Depth 논문과 유사하게 mini-batch 전체에 같은 결정을 적용하려면 다음과 같이 설정함.

self.drop_path = StochasticDepth(
    p=drop_path_prob,
    mode="batch",
)

입력이 다음과 같다면

$$\textbf{x} \in \mathbb{R}^{B\times N\times C}$$

mask의 shape은 다음과 같음.

$$ \textbf{m} \in \mathbb{R}^{1\times1\times1}$$

실질적으로 하나의 Bernoulli 값이 batch 전체에 적용됨.

$$
m \sim \operatorname{Bernoulli}(q) \\
\widetilde{\textbf{x}} = \frac{m}{q} \textbf{x}
$$

따라서 batch의 모든 sample이 함께 유지되거나 함께 제거됨.

5.2 timm의 `DropPath`

timm.layers.DropPath는 기본적으로 per-sample Bernoulli mask를 생성함.

from torch import nn
from timm.layers import DropPath


class ResidualBlock(nn.Module):
    def __init__(self, dim, drop_path_prob=0.1):
        super().__init__()

        self.block = nn.Sequential(
            nn.Linear(dim, dim),
            nn.GELU(),
            nn.Linear(dim, dim),
        )

        self.drop_path = DropPath(
            drop_prob=drop_path_prob,
        )

    def forward(self, x):
        return x + self.drop_path(self.block(x))

timm의 mask shape 생성 방식은 다음과 같음.

shape = (x.shape[0],) + (1,) * (x.ndim - 1)

첫 번째 dimension인 x.shape[0]은 batch size에 해당함.

나머지 dimension은 모두 (1)로 설정하여 하나의 sample 전체에 같은 mask 값이 broadcast되도록 함.

5.2.1 CNN feature map

입력이 다음과 같은 CNN feature map이라면

$$ \textbf{x} \in \mathbb{R}^{B\times C\times H\times W} $$

mask의 shape은 다음과 같음.

$$ \textbf{m} \in \mathbb{R}^{B\times1\times1\times1} $$

5.2.2 Transformer hidden state

입력이 다음과 같은 Transformer hidden state라면

$$ \textbf{x} \in \mathbb{R}^{B\times N\times C} $$

mask의 shape은 다음과 같음.

$$ \textbf{m} \in \mathbb{R}^{B\times1\times1} $$

5.2.3 `scale_by_keep`

timm.layers.DropPath는 기본적으로 scale_by_keep=True를 사용함.

따라서 유지된 residual branch는 keep probability인 $q$로 나누어짐.

$$ \widetilde{\textbf{x}}_i = \frac{m_i}{q} \textbf{x}_i $$

이는 inverted Dropout과
같은 방식임.

다음 조건에서는 입력 tensor를 그대로 반환함.

evaluation mode인 경우
drop_prob=0인 경우

5.3 timm model의 `drop_path_rate`

timm model은 생성 시 drop_path_rate를 인자로 받는 경우가 많음.

import timm

model = timm.create_model(
    "swin_base_patch4_window7_224",
    pretrained=True,
    num_classes=4,
    drop_rate=0.1,
    drop_path_rate=0.05,
)

일반적으로 다음과 같이 해석함.

drop_rate - 일반 Dropout의 probability
drop_path_rate - 마지막 block에 적용되는 최대 DropPath probability

drop_path_rate=0.05는 모든 block에 (0.05)가 동일하게 적용된다는 의미가 아님.

일반적으로 전체 block에 다음과 같이 선형적으로 배정됨.

$$ 0 \longrightarrow 0.05 $$

입력에 가까운 block에는 $0$에 가까운 drop probability가 적용되고,
출력에 가까운 마지막 block에는 최대값인 $0.05$에 가까운 drop probability가 적용됨.

다만 모든 timm model이 동일한 인자와 동일한 배정 방식을 사용하는 것은 아님.

Model에 따라 다음 항목이 달라질 수 있음.

drop_rate의 적용 위치
classifier Dropout 지원 여부
attention Dropout 인자 이름
projection Dropout 인자 이름
drop_path_rate 지원 여부
block별 DropPath schedule
stage별 또는 block별 probability 배정 방식

따라서 정확한 동작은 사용하는 model의 constructor와 source에서 확인해야 함.

5.4 Hugging Face Transformers의 DropPath

Hugging Face Transformers의 여러 vision model은 model별 DropPath class를 내부적으로 구현함.

대표적인 구현은 다음과 같은 형태임.

def forward(self, hidden_states):
    if self.drop_prob == 0.0 or not self.training:
        return hidden_states

    keep_prob = 1.0 - self.drop_prob

    shape = (
        hidden_states.shape[0],
    ) + (1,) * (hidden_states.ndim - 1)

    random_tensor = torch.rand(
        shape,
        dtype=hidden_states.dtype,
        device=hidden_states.device,
    )

    random_tensor = torch.floor(
        random_tensor + keep_prob
    )

    return hidden_states.div(keep_prob) * random_tensor

이 구현은 다음과 같은 특징을 가짐.

첫 번째 dimension을 batch dimension으로 사용함.
sample별 Bernoulli mask를 생성함.
유지된 residual branch를 keep probability로 나눔.
evaluation mode에서는 입력을 그대로 반환함.
drop_prob=0이면 입력을 그대로 반환함.

Swin, SwinV2, BEiT, ConvNeXt 등의 여러 vision model에서 drop_path_rate가 configuration field로 사용됨.

단, 실제 지원 여부와 적용 위치는 model class마다 다를 수 있으므로 source를 확인해야 함.

참고: Dropout과 DropPath 비교

다음 표에서 DropPath는 현대적인 vision model에서 일반적으로 사용하는 per-sample Stochastic Depth를 의미함.

https://dsaint31.me/mkdocs_site/ML/ch09/dl_dropout/

BME

alpha-dropout dropout mc-dropout pytorch regularization Dropout and MC Dropout Dropout은 학습 중 일부 neuron의 출력(=activation) 을 임시로 0으로 만들어 co-adaptation을 줄이고 generalization을 높이는 neural network regularization(

dsaint31.me

구분	Dropout	DropPath
역사적 출발	Hinton et al., 2012 및 Srivastava et al., 2014	Stochastic Depth 및 FractalNet의 drop-path, 2016
제거 대상	개별 activation	residual branch 또는 계산 path
일반적인 mask 단위	activation element별	sample별 residual branch 전체
CNN 입력	$\textbf{x}\in\mathbb{R}^{B\times C\times H\times W}$	$\textbf{x}\in\mathbb{R}^{B\times C\times H\times W}$
일반적인 CNN mask	$\textbf{m}\in\mathbb{R}^{B\times C\times H\times W}$	$\textbf{m}\in\mathbb{R}^{B\times1\times1\times1}$
Transformer 입력	$\textbf{x}\in\mathbb{R}^{B\times N\times C}$	$\textbf{x}\in\mathbb{R}^{B\times N\times C}$
일반적인 Transformer mask	$\textbf{m}\in\mathbb{R}^{B\times N\times C}$	$\textbf{m}\in\mathbb{R}^{B\times1\times1}$
제거 범위	activation 일부	한 sample의 residual branch 출력 전체
대체 경로 필요성	필요하지 않음	제거 후에도 다른 유효한 path가 필요함
학습 시 동작	일부 activation을 0으로 설정	residual branch 또는 path를 0으로 설정
평가 시 동작	일반적으로 identity	현대적인 구현에서는 identity
주요 목적	feature co-adaptation 억제	path 또는 branch 의존성 억제
대표 적용 위치	embedding, MLP, attention probability, classifier	ResNet, EfficientNet, ViT, Swin, ConvNeXt의 residual branch
일반 구현의 계산량 절감	없음	branch 계산 후 적용하면 거의 없음

Dropout과 DropPath의
가장 중요한 차이는
제거하는 단위임.

Dropout은 일반적으로 tensor의 개별 activation을 독립적으로 제거함.

$$\widetilde{x}_{i,j} = \frac{m_{i,j}}{q} x_{i,j} $$

반면 DropPath는 한 sample의 residual branch 출력 전체에 하나의 mask 값을 적용함.

$$ \widetilde{\textbf{x}}_i = \frac{m_i}{q} \textbf{x}_i $$

따라서 다음과 같이 구분할 수 있음.

Dropout : 하나의 feature tensor 내부를 부분적으로 제거함.
DropPath : 하나의 residual branch 또는 계산 path 전체를 제거함.

Optimism-corrected Accuracy

dsaint31x — Tue, 26 May 2026 13:54:07 +0900

Optimism-corrected accuracy는

bootstrap sampling을 통해
resubstitution accuracy에 포함된 낙관적 bias를
추정하고 보정한 accuracy임.

여기서 optimism은 다음을 의미함.

model이
학습에 사용한 data에서 평가될 때,
실제 일반화 성능보다 성능이 좋게 나오는 정도

즉, training data에서 다시 평가한 성능은 보통 실제 성능보다 높게 나온다.

이를 apparent performance 또는 resubstitution performance라고 부른다.

이 외의 bootstrap에서 사용되는 metrics에 대해선 다음을 참고:

2026.04.14 - [Programming/ML] - Bootstrap Sampling 기반 Accuracy 추정 지표

Bootstrap Sampling 기반 Accuracy 추정 지표

0. 왜 Bootstrap Accuracy Estimation이 필요한가모델 성능 평가의 이상적인 방법은 독립적인 test set을 사용하는 것임.하지만 데이터가 부족한 경우, 충분한 test set을 확보하기 어려움.Bootstrap accuracy estimat

dsaint31.tistory.com

1. Resubstitution Accuracy

원본 dataset $D$로 model을 학습하고, 같은 dataset $D$에서 다시 accuracy를 평가한 값을 다음 심볼로 표시:

$$
\hat{\text{Acc}}_{\text{resub}}
$$

이는 model이 이미 본 data에서 평가된 결과이므로, 일반적으로 낙관적으로 추정됨.

즉, $\hat{\text{Acc}}_{\text{resub}}$ 는 실제 unseen data에서의 accuracy보다 높게 나올 가능성이 크다.

2. Bootstrap을 이용한 Optimism 추정

Optimism-corrected bootstrap에서는 $B$번의 bootstrap iteration을 수행한다.

각 iteration $b$에서 원본 dataset $D$로부터 복원추출하여 bootstrap sample $D_b^*$를 만든다.

이후 다음 절차를 수행한다.

$D_b^*$로 model을 학습함.
학습한 model을 $D_b^*$에서 평가함.
같은 model을 원본 dataset $D$ 전체에서 평가함.
두 accuracy의 차이를 optimism으로 계산함.

각 bootstrap iteration에서의 optimism은 다음과 같음:

$$o_b = \hat{\text{Acc}}_{b,\text{boot}} - \hat{\text{Acc}}_{b,\text{orig}}$$

$\hat{\text{Acc}}_{b,\text{boot}}$
- bootstrap sample $D_b^*$에서 평가한 accuracy
$\hat{\text{Acc}}_{b,\text{orig}}$
- 같은 bootstrap-trained model을 원본 dataset $D$ 전체에서 평가한 accuracy

즉, $o_b$는 다음을 의미:

bootstrap sample에서 학습한 model이,
자신이 학습한 sample에서 평가될 때 얼마나 더 좋게 보이는가

3. 평균 Optimism

각 bootstrap iteration에서 얻은 optimism을 다음과 같이 평균을 취함:

$$\frac{1}{B}\sum_{b=1}^{B} o_b$$

이 값은 resubstitution accuracy가 실제 성능보다 얼마나 낙관적으로 높게 추정되는지를 나타냄.

4. Optimism-corrected Accuracy

최종적으로 optimism-corrected accuracy는 다음과 같이 계산:

$$\hat{\text{Acc}}_{\text{opt-corr}} = \hat{\text{Acc}}_{\text{resub}} - \frac{1}{B}\sum_{b=1}^{B} o_b$$

즉, 다음을 의미함:

$$\text{corrected accuracy} = \text{apparent accuracy} - \text{estimated optimism}$$

이는 training data에서 너무 좋게 보이는 성능을 bootstrap으로 추정한 낙관성만큼 낮추는 방식임.

5. 간단한 예

원본 dataset으로 학습하고 같은 dataset에서 평가한 accuracy가 다음과 같다고 가정:

$$\hat{\text{Acc}}_{\text{resub}} = 0.90$$

그리고 bootstrap을 통해 평균 optimism이 다음과 같이 추정되었다고 가정:

$$\frac{1}{B}\sum_{b=1}^{B} o_b = 0.06$$

그러면 optimism-corrected accuracy는 다음과 같음:

$$\hat{\text{Acc}}_{\text{opt-corr}} = 0.90 - 0.06 = 0.84$$

apparent accuracy는 $0.90$이지만,
optimistic bias를 보정하면 실제 성능은 대략 $0.84$에 가깝다고 해석.

6. OOB 평가와의 차이

Optimism-corrected bootstrap은 단순한 OOB(out-of-bag) 평가와 다르다.

OOB 방식은 각 bootstrap sample에 포함되지 않은 sample만 이용해 성능을 평가한다.

반면 optimism-corrected bootstrap은 각 bootstrap iteration에서 다음 차이를 계산한다.

$$ \hat{\text{Acc}}_{b,\text{boot}} - \hat{\text{Acc}}_{b,\text{orig}}$$

OOB 성능 자체를 최종 성능으로 쓰는 것이 아니라,
학습 data에서의 성능 과대평가 정도를 추정하는데 이용.

7. Optimism-corrected Bootstrap 과 .632, .632+ Bootstrap과의 관계

Bootstrap 기반 성능 추정에는 대표적으로 다음 방법들이 있음.

optimism-corrected bootstrap
.632 bootstrap
.632+ bootstrap

Accuracy처럼 높을수록 좋은 성능지표를 기준으로 하면, 일반적으로 낙관적인 순서는 다음과 같음:

$$ \text{Resubstitution} > \text{Optimism-corrected} > .632 > .632+$$

즉, 보통 다음과 같이 해석할 수 있다.

방법	desc.
Resubstitution accuracy	가장 낙관적
Optimism-corrected accuracy	resubstitution보다는 덜 낙관적
.632 bootstrap	OOB 성능을 더 직접적으로 반영하므로 더 보수적
.632+ bootstrap	overfitting이 클수록 OOB 쪽 비중을 더 키우므로 가장 보수적

이는 일반적인 경향임.
실제 순서는 dataset size, model complexity, overfitting 정도, 성능지표에 따라 달라질 수 있다.
error rate처럼 낮을수록 좋은 지표를 사용할 경우에는 부등호 방향이 반대로 해석될 수 있다.

8. 사용할 때 주의할 점

Optimism-corrected bootstrap을 올바르게 사용하려면,
각 bootstrap iteration에서 모델링 과정 전체를 다시 수행해야 함.

단순히 이미 학습된 final model을 bootstrap sample에서 평가하는 방식은 적절하지 않다.

각 bootstrap iteration마다 다음 과정이 모두 다시 수행되어야 한다.

preprocessing
scaling
feature selection
hyperparameter tuning
threshold selection
model fitting
performance evaluation

그래야 전체 modeling pipeline이 가지는 optimism을 제대로 추정할 수 있다.

정리

Optimism-corrected accuracy는 다음을 수행하는 bootstrap 기반 성능 추정 방법임.

원본 dataset으로 model을 학습하고 원본 dataset에서 resubstitution accuracy를 계산함.
여러 bootstrap sample을 생성함.
각 bootstrap sample에서 model을 새로 학습함.
같은 model을 bootstrap sample과 원본 dataset에서 각각 평가함.
두 성능 차이를 optimism으로 계산함.
평균 optimism을 resubstitution accuracy에서 뺌.

핵심 식은 다음과 같다.

$$\hat{\text{Acc}}{\text{opt-corr}}= \hat{\text{Acc}}{\text{resub}} - \frac{1}{B}\sum_{b=1}^{B} o_b$$

optimism-corrected accuracy는
학습 data에서 너무 좋게 보이는 accuracy를
bootstrap으로 추정한 낙관성만큼 보정한 metric임.

같이보면 좋은 자료들

2024.06.05 - [.../Math] - [ML] Bootstrap Sampling

[ML] Bootstrap Sampling

Bootstrap Sampling을 이해하고 활용하기Bootstrap Sampling이란 무엇인가?Bootstrap Sampling은 통계학(Statistics)과 데이터 과학(Data Science)에서 널리 사용되는 강력한 방법론(Methodology) 중 하나임.이는 기존의 데

dsaint31.tistory.com

2024.06.20 - [.../Math] - [ML] Out of Bag: 유도하기.

[ML] Out of Bag: 유도하기.

Out of Bag (OOB)란?Out of Bag (OOB)는 Bagging (Bootstrap aggregating)과 같이 Bootstraping을 이용한 Ensemble Model에 등장하는 용어. Bootstrap Sampling을 사용할 경우, 특정 predictor를 훈련시킬 때 sample point는 여러번 사용

dsaint31.tistory.com

Balanced Accuracy (균형 정확도)

dsaint31x — Tue, 26 May 2026 07:26:04 +0900

Balanced Accuracy(균형 정확도) 는
class imbalance(클래스 불균형) 가 있는
classification(분류) 문제에서 사용하는
evaluation metric(평가지표)임.

Ordinary Accuracy

일반적인 Accuracy(정확도) 는 전체 sample 중 맞춘 비율임.

$$\text{Accuracy} = \frac{\text{맞춘 sample 수}}{\text{전체 sample 수}}$$

하지만,

특정 class의 sample 수가 매우 많으면,
model(모델)이 majority class(다수 클래스)만 잘 맞춰도
accuracy가 높게 나올 수 있음.

Balanced Accuray

앞서의 class imbalance 에서의 일반 accuracy가 가지는 문제점을 극복하기 위해

각 class별 Recall(재현율) 을 따로 계산한 뒤 평균낸 것이 Balanced Accuracy(균형 정확도) 임.

$$\text{Balanced Accuracy} = \frac{1}{K} \sum_{k=1}^{K} \text{Recall}_k$$

여기서 $K$는 class 개수임.

즉, Balanced Accuracy(균형 정확도)는

sample 수가 많은 class가 전체 성능을 과도하게 지배하지 못하도록,

각 class의 Recall(재현율)을 같은 비중으로 반영한 metric(평가지표)임.

4-class classification(4개 클래스 분류)의 예

다음과 같이 4개의 class가 있다고 하자.

실제 class	sample 수	맞춘 개수	Recall(재현율)
A	100	90	(90/100 = 0.90)
B	50	30	(30/50 = 0.60)
C	20	10	(10/20 = 0.50)
D	10	2	(2/10 = 0.20)

이때 Balanced Accuracy(균형 정확도)는 다음과 같음.

$$\text{Balanced Accuracy} = \frac{0.90+0.60+0.50+0.20}{4} = 0.55$$

즉, balanced accuracy는 55% 임.

반면 일반 accuracy는 다음과 같음.

$$\text{Accuracy} = \frac{90+30+10+2}{100+50+20+10} = \frac{132}{180} \approx 0.733$$

즉, 일반 accuracy는 약 73.3%임.

이 예에서 accuracy는 73.3%로 비교적 높아 보임.

하지만 class D의 recall은 $0.20$ 에 불과함.
즉, minority class(소수 클래스)인 D를 거의 맞추지 못하고 있음.

Balanced Accuracy(균형 정확도)는
각 class의 recall을 동일한 비중으로 평균내기 때문에,
이런 문제를 더 잘 드러냄.

참고: Binary Classification

Binary Classification(이진분류)에서는 negative class(음성클래스) 에 대한 Recall은 Specificity (특이도)라고도 불림.

때문에 다음과 같이 기재된 문헌도 많음:

$$\text{Balanced Accurayc} = \frac{\text{Sensitivity} + \text{Specificity}}{2} = \frac{\text{TPR}+\text{TNR}}{2}$$

* $\text{TPR}=\frac{\text{TP}}{\text{TP}+\text{FN}}$ : True Positive Rate(참양성률) = Recall = Sensitivity

* $\text{TNR}=\frac{\text{TN}}{\text{TN}+\text{FP}}$ : True Negative Rate(참음성률) = Specificity

위의 식은 앞서의 정의와 정확히 일치하나, 익숙치 않은 경우엔 다르게 보이므로 노파심(?)에서 다시 기재함.

참고로,

ROC Curve에서 사용되는 Fallout(위양성률) 은 1-Specificity 으로 False Positive Rate라고도 불림.

https://dsaint31.me/mkdocs_site/ML/ch02/ml_cls_metrics/?h=roc#receiver-operating-characteristics-roc-and-auc

BME

AUC F-score F2 PR ROC accuracy confusion matrix mAP macro micro precision recall sensitivity weighted Performance Measures for Classifiers Confusion matrix Confusion matrix(오차행렬, 혼동행렬)은 row는 label의 ideal class 를 나타내며, column

dsaint31.me

요약

Balanced Accuracy(균형 정확도)는

각 class별 Recall(재현율)을
동일한 비중으로 평균낸 metric(지표)이며,
class imbalance(클래스 불균형)가 있는 경우
일반 Accuracy(정확도)보다 더 적절한 평가 지표가 될 수 있음.

같이 보면 좋은 자료

https://ds31x.tistory.com/307

[ML] Classification 과 관련 metrics 에 대한 소개.

이 문서는 AI, ML, 그리고 DL의 정의와 이들 간의 차이점을 설명하며,특히 ML의 supervised learning에서 가장 많이 다루는 task인 classification의 종류와 관련 metrics를 설명함.Classifier (분류기):정의: 주어진

ds31x.tistory.com

https://dsaint31.me/mkdocs_site/ML/ch02/ml_cls_metrics/

BME

dsaint31.me

[ML] BFGS, L-BFGS, L-BFGS-B : Quasi-Newton method

dsaint31x — Mon, 27 Apr 2026 16:15:02 +0900

[BFGS]

BFGS(Broyden-Fletcher-Goldfarb-Shanno algorithm)는 대표적인 Quasi-Newton method(준-뉴턴 방법) 중 하나임.

고차원 문제에서는 L-BFGS가 더 많이 사용됨
L-BFGS 는 BFGS가 전체 matrix를 메모리에 적재하는 것을 개선한 버전으로 주로 많이 이용됨(L= Limited-meory)

BFGS는

1970년에 4명의 연구자 (Broyden-Fletcher-Goldfarb-Shanno 가
독립적으로 서로 다른 방식의 접근을 통해
동일한 업데이트식을 도출해 낸 걸로 유명한 알고리즘.

이들 4명의 연구자들의 이름을 따서 BFGS 가 됨.

당시 널리 사용되던 DFP(Davidon-Fletcher-Powell) 방법의 단점을 보완하기 위해 개발됨.

현재는 unconstrained optimization 문제에서 가장 효율적이고 널리 쓰이는 표준 알고리즘임.

Optimization problem에서

목적 함수(objective function) $L(\boldsymbol{\omega})$를 최소화하려면,
일반적으로 다음과 같은 optimization 문제를 풀게 됨.

$$\underset{\boldsymbol{\omega}}{\min} L(\boldsymbol{\omega})$$

이때 $\boldsymbol{\omega}$는 최적화 대상이 되는 parameter vector임.

BFGS는

gradient descent보다 더 빠른 수렴을 목표로 하면서,
Newton method처럼 Hessian matrix를 직접 계산하지 않도록 설계된
optimization algorithm임.

https://convex-optimization-for-all.github.io/contents/chapter18/2021/03/23/18_07_Limited_Memory_BFGS_(LBFGS)/

18-07 Limited Memory BFGS (LBFGS) · 모두를 위한 컨벡스 최적화

18-07 Limited Memory BFGS (LBFGS) Introduction LBFGS는 Limited-memory quasi-Newton methods의 한 예시로써, Hessian 행렬을 계산하거나 저장하기 위한 비용이 합리적이지 않을 경우 유용하게 사용된다. 이 방법은 밀도

convex-optimization-for-all.github.io

1. Review: Newton Method

2022.06.07 - [Computer/ETC] - [ML] Newton-Raphson Method

[ML] Newton-Raphson Method

1. Newton-Raphson Method : $f(x)=0$을 만족하는 root(근)인 $\hat{x}$를 찾는 방법 중 하나 : root-finding algorithm 위의 그림에서 보이듯이1st order derivative(1차 도함수)를 이용하여현재의 $x_t$로부터 $x_{t+1}$을 구해

dsaint31.tistory.com

Newton method는

현재 parameter $\boldsymbol{\omega}_k$에서
목적 함수 $L(\boldsymbol{\omega})$를
2차 Taylor approximation으로 근사함.

$$L(\boldsymbol{\omega}_k + \mathbf{p}) \approx
L(\boldsymbol{\omega}_k) +
\nabla L(\boldsymbol{\omega}_k)^\top \mathbf{p} +
\frac{1}{2}\mathbf{p}^\top \mathbf{H}_k \mathbf{p}$$

여기서

$\nabla L(\boldsymbol{\omega}_k)$: 현재 parameter에서의 gradient vector
$\mathbf{H}_k$: 현재 parameter에서의 Hessian matrix
$\mathbf{p}$: 현재 위치에서 이동할 방향을 나타내는 search direction

임.

이 2차 근사식을 최소화하면 Newton direction은 다음과 같이 얻어짐.

$$\mathbf{p}_k = -\mathbf{H}_k^{-1}\nabla L(\boldsymbol{\omega}_k)$$

따라서 parameter update는 다음과 같음.

$$\boldsymbol{\omega}_{k+1} = \boldsymbol{\omega}_k + \eta_k \mathbf{p}_k$$

여기서 $\eta_k$는 $k$번째 iteration에서의 learning rate 또는 step size임.

위 식에 Newton direction을 대입하면 다음과 같음.

$$\boldsymbol{\omega}_{k+1} = \boldsymbol{\omega}_k - \eta_k \mathbf{H}_k^{-1}\nabla L(\boldsymbol{\omega}_k)$$

즉, Newton method는

단순히 gradient의 반대 방향으로 이동하는 것이 아니라,
Hessian inverse를 gradient vector에 곱해 curvature를 반영한 search direction을 계산한 뒤 이동함.

2022.06.05 - [Programming/DIP] - [Math] Hessian: Summary

[Math] Hessian: Summary

이 문서는 Numerator Layout Convention 을 사용함.Hessian : Summary 2nd order derivative of multivariable function.여기서 multivariable function은 입력은 vector, 출력은 scalar 인 함수를 의미함: ML에서의 loss function을 생각해

dsaint31.tistory.com

2. Gradient Descent와 Newton Method의 차이

2023.10.19 - [Programming] - [ML] Gradient Descent Method: 경사하강법

[ML] Gradient Descent Method: 경사하강법

Gradient Descent Method (경사하강법) : 1. 정의 및 수식Steepest Gradient Descent Method로도 불리는Gradient Descent Method(경사하강법)는 여러 Optimization 방법 중 가장 많이 사용되는 방법들 중 하나임.training set $X$

dsaint31.tistory.com

Gradient descent는 다음과 같이 parameter를 update함.

$$\boldsymbol{\omega}_{k+1} = \boldsymbol{\omega}_k - \eta_k \nabla L(\boldsymbol{\omega}_k)$$

즉, gradient의 반대 방향으로 이동함.

반면 Newton method는 다음과 같이 update함.

$$\boldsymbol{\omega}_{k+1} = \boldsymbol{\omega}_k - \eta_k \mathbf{H}_k^{-1}\nabla L(\boldsymbol{\omega}_k)$$

차이는 $\mathbf{H}_k^{-1}$의 존재임.

Gradient descent는 gradient 정보만 사용함.
Newton method는 gradient에 더해 Hessian matrix도 사용함.

Hessian matrix는

목적 함수의 2차 미분 정보 (=Hessian)를 담고 있음.
즉, 목적 함수의 curvature(곡률)를 나타냄.

따라서 Newton method는 단순히 어느 방향으로 내려갈지만 보는 것이 아니라,
각 방향으로 목적함수가 얼마나 휘어져 있는지도 고려함.

3. Newton Method의 문제점

Newton method는 2차 정보를 사용하므로 gradient descent보다 빠르게 수렴할 수 있음.

하지만 실제 사용에서는 다음 문제가 있음.

Hessian matrix $\mathbf{H}_k$를 직접 계산해야 함
Hessian matrix의 크기가 $m \times m$이므로 parameter 수가 많으면 계산량과 메모리 사용량이 커짐
Hessian inverse $\mathbf{H}_k^{-1}$를 직접 구하는 비용이 큼
Hessian이 positive definite가 아니면 descent direction이 보장되지 않을 수 있음

즉, Newton method는 이론적으로 강력하지만, 고차원 문제에서는 계산 부담이 큼.

특히 parameter vector가 다음과 같다고 하자.

$$\boldsymbol{\omega} =
\begin{bmatrix}
\omega_1 \\
\omega_2 \\
\vdots \\
\omega_m
\end{bmatrix}
\in \mathbb{R}^m$$

그러면 Hessian matrix는 다음 크기를 가짐.

$$\mathbf{H} \in \mathbb{R}^{m \times m}$$

parameter 수 $m$ 이 커질수록 Hessian matrix를 저장하고 계산하는 비용이 급격히 커짐.

4. Quasi-Newton Methods

Quasi-Newton methods는
Newton method의 아이디어를 유지하되,
Hessian matrix를 직접 계산하지 않는 방법들임.

Newton method에서는 다음과 같은 direction을 사용함.

$$\mathbf{p}_k = -\mathbf{H}_k^{-1}\nabla L(\boldsymbol{\omega}_k)$$

Quasi-Newton method에서는 $\mathbf{H}_k^{-1}$ 대신 이를 근사한 matrix $\mathbf{M}_k$를 사용함.

$$\mathbf{p}_k = -\mathbf{M}_k \nabla L(\boldsymbol{\omega}_k)$$

여기서 $\mathbf{M}_k$는 inverse Hessian approximation임.

즉,

$$\mathbf{M}_k \approx \mathbf{H}_k^{-1}$$

임.

Quasi-Newton method의 핵심은 다음과 같음.

Hessian matrix를 직접 계산하지 않음
gradient 변화량을 이용해 curvature 정보를 추정함
Newton method와 비슷한 search direction을 만들려고 함
gradient descent보다 빠른 수렴을 기대할 수 있음

BFGS는
이러한 Quasi-Newton method 중
가장 널리 사용되는 방법 중 하나임.

5. BFGS의 핵심 아이디어

BFGS는 Hessian을 직접 계산하지 않고, 반복 과정에서 얻은 두 정보를 이용함.

첫 번째는 parameter 변화량임.

$$\mathbf{s}_k = \boldsymbol{\omega}_{k+1} - \boldsymbol{\omega}_k$$

두 번째는 gradient 변화량임.

$$\mathbf{y}_k = \nabla L(\boldsymbol{\omega}_{k+1}) - \nabla L(\boldsymbol{\omega}_k)$$

즉, BFGS는 다음 두 vector를 이용해 목적 함수의 curvature를 간접적으로 추정함.

$\mathbf{s}_k$: parameter가 어느 방향으로 얼마나 이동했는지
$\mathbf{y}_k$: 그 이동에 따라 gradient가 얼마나 변했는지

gradient의 변화는 함수의 curvature 정보를 포함함.

따라서 Hessian을 직접 계산하지 않아도,
parameter 변화량과 gradient 변화량을 이용하면
curvature를 어느 정도 추정할 수 있음.

6. Secant Condition

Hessian matrix는 gradient의 변화율을 나타냄.

따라서 이상적으로는 다음 관계가 성립해야 함.

$$\mathbf{H}_{k+1}\mathbf{s}_k \approx \mathbf{y}_k$$

이를 secant condition(할선 조건)이라고 함.

Inverse Hessian approximation을 사용하는 경우에는 다음처럼 쓸 수 있음.

$$
\mathbf{M}_{k+1}\mathbf{y}_k = \mathbf{s}_k
$$

여기서 $\mathbf{M}_{k+1}$은 다음 iteration에서 사용할 inverse Hessian approximation임.

즉, BFGS는 다음 조건을 만족하도록 $\mathbf{M}_k$를 update함.

$$\mathbf{M}_{k+1}\mathbf{y}_k
= \mathbf{s}_k$$

이 조건의 의미는 다음과 같음.

gradient 변화량 $\mathbf{y}_k$에 inverse Hessian approximation을 곱하면
실제 parameter 변화량 $\mathbf{s}_k$와 일치하도록 만들겠다는 것임
즉, 현재까지 관찰한 변화에 대해서는 Newton method와 비슷한 관계를 만족하도록 matrix를 보정함

7. BFGS Update Formula

Inverse Hessian approximation을 $\mathbf{M}_k$라고 하면, BFGS update는 다음과 같이 주어짐.

$$\mathbf{M}_{k+1} =
\left(
\mathbf{I} - \rho_k \mathbf{s}_k \mathbf{y}_k^\top
\right)
\mathbf{M}_k
\left(
\mathbf{I} -
\rho_k \mathbf{y}_k \mathbf{s}_k^\top
\right) +
\rho_k \mathbf{s}_k \mathbf{s}_k^\top$$

여기서

$$ \rho_k = \frac{1}{\mathbf{y}_k^\top \mathbf{s}_k}$$

임.

이 식은 처음 보면 복잡하지만, 핵심은 단순함.

기존 inverse Hessian approximation $\mathbf{M}_k$를 유지함
새롭게 관찰한 $\mathbf{s}_k$, $\mathbf{y}_k$ 정보를 반영함
secant condition을 만족하도록 matrix를 보정함
positive definite 성질을 유지하려고 함

단, 보통 다음 조건이 필요함.

$$\mathbf{y}_k^\top \mathbf{s}_k > 0 $$

이 조건은 curvature condition이라고 볼 수 있음.

BFGS에서 이 조건이 만족되면,

$\mathbf{M}_k$가 positive definite일 때
$\mathbf{M}_{k+1}$도 positive definite가 됨.

8. BFGS의 반복 절차

BFGS의 전체 흐름은 다음과 같음:

1.초기 parameter $\boldsymbol{\omega}_0$ 선택
2.초기 inverse Hessian approximation $\mathbf{M}_0$ 선택
3.현재 gradient $\nabla L(\boldsymbol{\omega}_k)$ 계산
4.search direction 계산

$$\mathbf{p}_k = -\mathbf{M}_k \nabla L(\boldsymbol{\omega}_k)$$

5.line search를 통해 learning rate $\eta_k$ 결정
6.parameter update

$$\boldsymbol{\omega}_{k+1} = \boldsymbol{\omega}_k +\eta_k \mathbf{p}_k$$

7.parameter 변화량 계산

$$\mathbf{s}_k = \boldsymbol{\omega}_{k+1} - \boldsymbol{\omega}_k$$

8.gradient 변화량 계산

$$\mathbf{y}_k = \nabla L(\boldsymbol{\omega}_{k+1}) - \nabla L(\boldsymbol{\omega}_k)$$

9.$\mathbf{M}_k$를 $\mathbf{M}_{k+1}$로 update
10.수렴 조건을 만족할 때까지 반복

정리하면 BFGS의 update는 다음 한 줄로 볼 수 있음.

$$\boldsymbol{\omega}_{k+1} = \boldsymbol{\omega}_k - \eta_k \mathbf{M}_k \nabla L(\boldsymbol{\omega}_k)$$

Gradient descent와 비슷해 보이지만, gradient 앞에 $\mathbf{M}_k$ 가 곱해져 있다는 점이 핵심 차이임.

9. Gradient Descent와의 비교.

Gradient descent는 gradient의 반대 방향으로 이동함.

$$\mathbf{p}_k = - \nabla L(\boldsymbol{\omega}_k) $$

따라서 update는 다음과 같음.

$$\boldsymbol{\omega}_{k+1} = \boldsymbol{\omega}_k - \eta_k \nabla L(\boldsymbol{\omega}_k)$$

반면 BFGS는 gradient에 inverse Hessian approximation을 곱해서 이동 방향을 정함.

$$\mathbf{p}_k= - \mathbf{M}_k \nabla L(\boldsymbol{\omega}_k)$$

따라서 update는 다음과 같음.

$$
\boldsymbol{\omega}_{k+1} =
\boldsymbol{\omega}_k +\eta_k \mathbf{p}_k
$$

즉,

$$\boldsymbol{\omega}_{k+1} = \boldsymbol{\omega}_k - \eta_k
\mathbf{M}_k
\nabla L(\boldsymbol{\omega}_k)$$

임.

비교하면 다음과 같음.

구분	Gradient Descent	BFGS
사용 정보	Gradient	Gradient + curvature approximation
Hessian 계산	사용하지 않음	직접 계산하지 않고 근사
이동 방향	$-\nabla L(\boldsymbol{\omega}_k)$	$-\mathbf{M}_k\nabla L(\boldsymbol{\omega}_k)$
Learning rate	사용	사용
수렴 속도	느릴 수 있음	보통 더 빠름
메모리 사용량	작음	큼
고차원 문제 적합성	상대적으로 좋음	원래 BFGS는 부담이 큼

Gradient descent는 함수의 기울기만 보고 이동함.

BFGS는 gradient에 곡률 정보를 반영한 matrix를 곱해서, 더 적절한 방향과 scale로 이동하려고 함.

10. Newton Method와 비교

Newton method는 정확한 Hessian matrix를 사용함.

$$\mathbf{p}_k = -\mathbf{H}_k^{-1}\nabla L(\boldsymbol{\omega}_k)$$

BFGS는 inverse Hessian을 직접 계산하지 않고, 이를 근사한 $\mathbf{M}_k$를 사용함.

$$\mathbf{p}_k = -\mathbf{M}_k \nabla L( \boldsymbol{ \omega}_k)$$

차이점은 다음과 같음.

구분	Newton Method	BFGS
Hessian	직접 계산	직접 계산하지 않음
Hessian inverse	직접 또는 선형 시스템으로 처리	반복적으로 근사
곡률 정보	정확한 2차 정보	gradient 변화로부터 근사
계산 비용	큼	Newton보다 작음
수렴 속도	매우 빠를 수 있음	빠른 편
구현 안정성	Hessian 상태에 민감	line search와 함께 안정적으로 사용 가능

BFGS는

Newton method의 “2차 정보를 활용한다”는 장점은 어느 정도 유지하면서,
Hessian 계산 부담을 줄인 방법이라고 볼 수 있음.

11. BFGS에서 Line Search가 중요한 이유: leraning rate의 중요성

BFGS에서는 search direction $\mathbf{p}_k$를 구한 뒤, learning rate $\eta_k$를 정해야 함.

$$\boldsymbol{\omega}_{k+1} =
\boldsymbol{\omega}_k + \eta_k \mathbf{p}_k $$

여기서 $\eta_k$를 너무 크게 잡으면 목적 함수 값이 오히려 발산할 수 있음.

반대로 $\eta_k$를 너무 작게 잡으면 수렴이 느려짐.

따라서 BFGS에서는 보통 line search를 사용해 적절한 $\eta_k$를 선택함.

Line search는 현재 direction $\mathbf{p}_k$ 를 따라 어느 정도 이동할지를 결정하는 절차임.

즉, 다음 1차원 문제를 푸는 것과 비슷함.

$$\underset{\eta}{\min} L(\boldsymbol{\omega}_k + \eta \mathbf{p}_k)$$

실제 구현에서는 exact하게 최소화하기보다는, Wolfe condition 같은 조건을 만족하는 $\eta_k$를 찾는 방식이 자주 사용됨.

12. Positive Definite와 Descent Direction

BFGS에서 $\mathbf{M}_k$ 는 inverse Hessian approximation임.

이 $\mathbf{M}_k$가 positive definite이라면,
BFGS direction은 descent direction이 됨.

BFGS direction은 다음과 같음.

$$\mathbf{p}_k = - \mathbf{M}_k \nabla L(\boldsymbol{\omega}_k)$$

이 direction이 descent direction이라는 것은 다음이 성립한다는 뜻임.

$$
\nabla L(\boldsymbol{\omega}_k)^\top \mathbf{p}_k < 0
$$

실제로 대입하여 살펴보자:

$$\nabla L(\boldsymbol{\omega}_k)^\top \mathbf{p}_k
= - \nabla L(\boldsymbol{\omega}_k)^\top
\mathbf{M}_k \nabla L(\boldsymbol{\omega}_k)$$

$\mathbf{M}_k)$가 positive definite이면 다음이 성립함.

$$
\nabla L(\boldsymbol{\omega}_k)^\top
\mathbf{M}_k
\nabla L(\boldsymbol{\omega}_k) >0
$$

따라서

$$\nabla L(\boldsymbol{\omega_k})^\top \mathbf{p}_k < 0 $$

가 됨.

즉, $\mathbf{M}_k$가 positive definite이면 $\mathbf{p}_k$는 목적 함수 값을 감소시키는 방향이 됨.

13. 응용: L-BFGS

BFGS는 inverse Hessian approximation matrix $\mathbf{M}_k$를 저장해야 함.

parameter 수가 $m$개라면 $\mathbf{M}_k$의 크기는 다음과 같음.

$$
m \times m
$$

따라서 parameter 수가 많으면 메모리 사용량이 매우 커짐.

이를 해결하기 위해 나온 방법이 L-BFGS(Limited-memory BFGS)임.

L-BFGS는 전체 matrix를 저장하지 않고, 최근 몇 번의 $\mathbf{s}_k$, $\mathbf{y}_k$ 만 저장함.

즉,

BFGS: 전체 inverse Hessian approximation matrix 저장
L-BFGS: 최근 update vector들만 저장

이 때문에 L-BFGS는 고차원 optimization problem에서 더 자주 사용됨.

다만 일반적인 deep learning 학습에서는 SGD, Adam, AdamW 등이 더 많이 사용됨.

14. 응용: L-BFGS-B

L-BFGS-B는 L-BFGS에 bound constraint 를 추가한 방법임.

즉, 다음과 같은 문제를 풀 수 있음.

$$\underset{\boldsymbol{\omega}}{\min} L(\boldsymbol{\omega}) \\ \text{s. t. } l_i \le \omega_i \le u_i$$

여기서 $l_i$와 $u_i$는 각각 parameter $\omega_i$의 lower bound와 upper bound임.

예를 들어 어떤 parameter가 반드시 양수여야 한다면 다음과 같은 constraint를 둘 수 있음.

$$\omega_i \ge 0$$

이와 같이 bound constraint가 추가된 경우는 L-BGFS-B를 사용하며
scipy.optimize.minimize에서 method="L-BFGS-B"를 지정하여 이용가능.

15. BFGS를 사용하는 경우

BFGS는 다음과 같은 경우에 적합함.

목적 함수가 differentiable한 경우
gradient를 계산할 수 있는 경우
parameter 수가 너무 크지 않은 경우
gradient descent보다 빠른 수렴이 필요한 경우
Hessian을 직접 계산하기에는 부담스러운 경우
목적 함수가 비교적 smooth한 경우

반면 다음 경우에는 주의가 필요함.

parameter 수가 매우 큰 deep learning model
gradient noise가 큰 stochastic optimization 문제
목적 함수가 매끄럽지 않은 경우
memory cost가 중요한 문제
mini-batch 기반 학습처럼 gradient가 매번 크게 흔들리는 문제

즉, BFGS는 작은 규모 또는 중간 규모의 smooth optimization problem에서 권장됨.

매우 큰 neural network를 stochastic gradient로 학습하는 상황에서는
일반적으로 Adam, AdamW, SGD with momentum 등이 더 자주 사용됨.

16. Linear Regression과 BFGS

Linear regression의 OLS objective function은 다음과 같이 쓸 수 있음.

$$L(\boldsymbol{\omega})
=\frac{1}{2m}
\left\|
\mathbf{y} - \mathbf{X}\boldsymbol{\omega}
\right\|_2^2$$

이 문제는 closed-form solution이 존재함.

$$\boldsymbol{\omega} =
(\mathbf{X}^\top \mathbf{X})^{-1}
\mathbf{X}^\top
\mathbf{y}$$

단, Normal Equation을 직접 풀려면 $\mathbf{X}^\top \mathbf{X}$가 invertible하다는 조건이 필요함.

invertible 하지 않더라도 OLS는 convex quadratic problem이므로,
BFGS를 사용하여 풀 수도 있음 (물론 GD도 가능).

하지만 OLS만 놓고 보면 보통은 다음 다른 방법들이 더 직접적임.

Normal equation
QR decomposition
SVD
Gradient descent
SGD

BFGS는

Directed methods 가 존재하는 OLS 보다는,
closed-form solution이 없거나 직접 계산하기 어려운 smooth nonlinear optimization 문제에서 더 의미가 큼.

17. Python에서의 사용 예

scipy.optimize.minimize를 사용하면 BFGS를 쉽게 사용할 수 있음.

아래 예제에서는 다음 목적 함수를 최소화함.

$$ L(\boldsymbol{\omega}) = (\omega_1 - 1)^2 + (\omega_2 + 2)^2$$

이 함수의 최소점은 다음과 같음.

$$
\boldsymbol{\omega}^{\ast} =
\begin{bmatrix}
1 \\
-2
\end{bmatrix}$$

Python 코드는 다음과 같음.

import numpy as np
from scipy.optimize import minimize


# 목적 함수 정의
# L(w1, w2) = (w1 - 1)^2 + (w2 + 2)^2
def objective(omega):
    # omega는 parameter vector임.
    # omega[0] = w1, omega[1] = w2
    w1, w2 = omega

    return (w1 - 1) ** 2 + (w2 + 2) ** 2


# gradient 정의
def gradient(omega):
    # 각 parameter에 대한 편미분을 계산함.
    # dL/dw1 = 2(w1 - 1)
    # dL/dw2 = 2(w2 + 2)
    w1, w2 = omega

    return np.array([
        2 * (w1 - 1),
        2 * (w2 + 2),
    ])


# 초기 parameter
omega0 = np.array([0.0, 0.0])


# BFGS 실행
result = minimize(
    fun=objective,      # 최소화할 목적 함수
    x0=omega0,          # 초기 parameter
    jac=gradient,       # gradient 함수
    method="BFGS",      # BFGS 사용
)

print(result.x)         # 최적 parameter
print(result.fun)       # 최소 목적 함수 값
print(result.success)   # 최적화 성공 여부

출력은 대략 다음과 같음.

[ 1. -2.]
0.0
True

여기서 result.x는 최적화된 parameter vector $\boldsymbol{\omega}$에 해당함.

요약

BFGS는 Newton method와 gradient descent 사이에 있는 중요한 optimization algorithm임.

핵심 정리는 다음과 같음:

BFGS는 Quasi-Newton method의 대표 알고리즘임
Hessian matrix를 직접 계산하지 않음
gradient 변화량을 이용해 inverse Hessian을 근사함
gradient descent보다 빠르게 수렴하는 경우가 많음
parameter update는 다음 형태를 가짐

$$\boldsymbol{\omega}_{k+1} =\boldsymbol{\omega}_k - \eta_k \mathbf{M}_k \nabla L(\boldsymbol{\omega}_k)$$

$\mathbf{M}_k$는 inverse Hessian approximation임
full BFGS는 $m \times m$ matrix를 저장하므로 parameter 수가 많으면 부담이 큼
고차원 문제에서는 L-BFGS가 더 많이 사용됨
bound constraint가 있으면 L-BFGS-B를 사용할 수 있음

결국 BFGS는 다음 한 문장으로 정리할 수 있음.

BFGS는 Hessian을 직접 계산하지 않고,
gradient의 변화로부터 curvature 정보를 추정하여
Newton method에 가까운 search direction을 만들어내는
Quasi-Newton optimization algorithm 임.

Linear Regression (Summary)

dsaint31x — Sat, 25 Apr 2026 23:16:56 +0900

0. Linear Regression 분류

Linear Regression
├── 1. Error model 기준
│ ├── OLS 계열
│ │ ├── X: fixed or error-free
│    │        ├── y: noise 있음
│      │        └── $\text{Var}(\varepsilon) = \sigma^2\mathbf{I}$
│      │
│        ├── WLS 계열
│        │       ├── X: fixed or error-free
│        │       ├── y: noise 있음
│        │         └── $\text{Var}(\varepsilon) = \text{diag}(\sigma_1^2, \sigma_2^2, \dots, \sigma_m^2)$
│        │
│        ├── GLS 계열
│        │       ├── X: fixed or error-free
│        │       ├── y: noise 있음
│        │       └── $\text{Var}(\varepsilon) = \boldsymbol{\Omega}$
│        │
│        └── TLS 계열
│                   ├── X: noise 있음
│                   ├── y: noise 있음
│                   └── [X  y] 전체의 perturbation 최소화
│
├── 2. Regularization 기준
│                ├── No penalty
│              │         ├── OLS
│                │         ├── WLS
│            │       ├── GLS
│                │       └── (Standard) TLS
│                │
│              └── Penalized / Regularized
│                            ├── Ridge: L2 penalty
│                             ├── Lasso: L1 penalty
│                             ├── Elastic Net: L1 + L2 penalty
│                             ├── Penalized WLS
│                             ├── Penalized GLS
│                             └── Regularized TLS
│
└── 3. Optimization / Solver 기준
├── Normal equation 기반 closed-form
   │ ├── OLS
   │ │ └── $\boldsymbol{\omega}^* = (\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top \mathbf{y}$
   │ │
   │ ├── WLS
   │ │ └── $\boldsymbol{\omega}^* = (\mathbf{X}^\top \mathbf{W} \mathbf{X})^{-1}\mathbf{X}^\top \mathbf{W} \mathbf{y}$
   │ │
   │ ├── GLS
   │ │ └── $\boldsymbol{\omega}^* = (\mathbf{X}^\top \boldsymbol{\Omega}^{-1} \mathbf{X})^{-1} \mathbf{X}^\top \boldsymbol{\Omega}^{-1} \mathbf{y}$
   │ │
   │ └── Ridge
   │         └── $\boldsymbol{\omega}^* = (\mathbf{X}^\top \mathbf{X} + \lambda \mathbf{I})^{-1} \mathbf{X}^\top \mathbf{y}$
   │
   ├── Direct decomposition 기반 solver
   │        ├── QR decomposition
   │         │ └── OLS, WLS, GLS에 사용 가능
   │         │
   │         ├── SVD
   │         │ ├── OLS의 rank-deficient case에 사용 가능

   │    │ ├── Ridge 에서 가장 안정적인 Solver임.
   │        │ └── Standard TLS의 대표적 solver
   │         │
   │        └── Cholesky decomposition
   │          └── Ridge, WLS, GLS 등 positive definite system에 사용 가능
   │
   └── Iterative optimization 기반 solver
        ├── Gradient Descent
     ├── Stochastic Gradient Descent
     ├── Coordinate Descent
     │       └── Lasso, Elastic Net에서 자주 사용
     ├── LBFGS
        └── 기타 numerical optimization

1. Linear Regression 이란?

Linear Regression(선형회귀)은

입력 feature와 target 사이의 선형 관계(linear relationship)를 가정하여
continuous target 값을 예측하는 대표적인 regression model임.

linear regression(선형회귀)를 matrix(행렬)로 쓰면 다음과 같음:

$$
\mathbf{y} = \mathbf{X}\boldsymbol{\omega} + \boldsymbol{\varepsilon}
$$

학습된 linear regression model의 예측값은 다음과 같음:

$$
\hat{\mathbf{y}} = \mathbf{X} \hat{\boldsymbol{\omega}}
$$

target과 predicted value의 오차는 residual이라 불리며 다음과 같음:

$$
\mathbf{e} = \mathbf{y} - \hat{\mathbf{y}}
$$

각 항의 차원은 보통 다음과 같음.

기호	의미	차원
$\mathbf{X}$	design matrix	$m \times n$
$\boldsymbol{\omega}$	parameter, coefficient vector	$n \times 1$
$\hat{\boldsymbol{\omega}}$	estimated parameter vector	$n \times 1$
$\mathbf{y}$	target, response vector	$m \times 1$
$\hat{\mathbf{y}}$	fitted value, predicted response vector	$m \times 1$
$\boldsymbol{\varepsilon}$	error vector	$m \times 1$
$\mathbf{e}$	residual vector	$m \times 1$

여기서

$m$은 sample 수, $n$는 feature 수임.
$\boldsymbol{\varepsilon}$는 실제 data-generating process에서 발생한다고 가정하는 이론적 error term이며, 직접 관측되지 않음.
반면 $\mathbf{e}$는 학습된 model의 predicted value와 실제 target의 차이로 계산되는 residual vector임.
즉, residual은 관측 불가능한 error term의 proxy로 사용되지만, 두 값이 완전히 같은 것은 아님.

이해를 돕기 위해 훈련데이터로 구성된 desing matrix는 다음과 같음:

$$\mathbf{X} = \begin{bmatrix} - (\mathbf{x}_1)^\top - \\ - (\mathbf{x}_2)^\top - \\ \vdots \\ - (\mathbf{x}_m)^\top - \\ \end{bmatrix} \in \mathbb{R}^{m \times n}$$

참고로, model이 linear하다고 하는 것은
regression 문제에서는 output이 parameters의 linear combination으로 표현되거나,
classification 문제에서는 decision boundary가 hyperplane 형태로 표현되는 경우를 의미함.

classification에서도 decision function은 regression의 prediction formula와 마찬가지로
$f(x)=\boldsymbol{\omega}^\top \mathbf{x} + b$ 이며,
이 decision function이 0이 되는 점들의 집합이 바로 hyperplane (decision boundary)임.

linear regression model의 예측식(prediction function)은 보통 두 가지 형태 중 하나로 기술됨.

1-1. Affine Form

$$
\hat{y}_i = \boldsymbol{\omega}^\top \mathbf{x}_i + b
$$

여기서 $b \in \mathbb{R}$는 intercept 또는 bias라고 불림.

2024.01.03 - [.../Linear Algebra] - [LA] Linear and Affine: Summary

[LA] Linear and Affine: Summary

Linear vs. Affinelinear combination과 linear transform에 같은 linear가 붙는 이유둘 다 원점을 기준으로 한 vector space에서scaling과 addition으로 표현되며,원점 고정성(origin-fixing property)과 선형성(linearity) 같은 lin

dsaint31.tistory.com

1-2. Linear Form (or Homogeneous coordinate form)

모든 Linear transformation은 matrix와의 곱으로 표현가능함.
Affine Form에서 bias를 더하는 부분을 없애기 위해선 Homogeneous Coordinate 를 사용하면 됨.

intercept를 parameter vector와 input vector에 포함하면 다음처럼 쓸 수 있음.

$$
\hat{y}_i = {\boldsymbol{\omega}'}^\top \mathbf{x}'_i
$$

이때 $\mathbf{x}'_i$와 $\boldsymbol{\omega}'$는 다음과 같음.

$$
\mathbf{x}'_i =
\begin{bmatrix}
1 \\
x_{i1} \\
x_{i2} \\
\vdots \\
x_{in}
\end{bmatrix}
\in \mathbb{R}^{n+1},
\qquad
\boldsymbol{\omega}' =
\begin{bmatrix}
b \\
\omega_1 \\
\omega_2 \\
\vdots \\
\omega_n
\end{bmatrix}
\in \mathbb{R}^{n+1}
$$

따라서

$$
{\boldsymbol{\omega}'}^\top \mathbf{x}'_i =
\begin{bmatrix}
b & \omega_1 & \omega_2 & \cdots & \omega_n
\end{bmatrix}
\begin{bmatrix}
1 \\
x_{i1} \\
x_{i2} \\
\vdots \\
x_{in}
\end{bmatrix}
=
b + \sum_{j=1}^{n} \omega_j x_{ij}
$$

이 방식은 affine model을 homogeneous coordinate 형태로 바꾸어 linear form으로 표현한 것임.

정리하면 다음과 같음.

$$
\mathbf{x}_i =
\begin{bmatrix}
x_{i1} \\
x_{i2} \\
\vdots \\
x_{in}
\end{bmatrix}
\in \mathbb{R}^{n},
\qquad
\mathbf{x}'_i =
\begin{bmatrix}
1 \\
x_{i1} \\
x_{i2} \\
\vdots \\
x_{in}
\end{bmatrix}
\in \mathbb{R}^{n+1}
$$

$$
\boldsymbol{\omega} =
\begin{bmatrix}
\omega_1 \\
\omega_2 \\
\vdots \\
\omega_n
\end{bmatrix}
\in \mathbb{R}^{n},
\qquad
\boldsymbol{\omega}' =
\begin{bmatrix}
b \\
\omega_1 \\
\omega_2 \\
\vdots \\
\omega_n
\end{bmatrix}
\in \mathbb{R}^{n+1}
$$

주의할 점은 $\mathbf{x}'_i$와 $\boldsymbol{\omega}'$를 $ (n+1) \times 1$이라고 써도 되지만, 보통은 vector space를 나타낼 때 $\mathbb{R}^{n+1}$로 표기함.

이후로는 편의를 위해 intercept를 포함한 방식을 기본으로 사용하고,
표기는

$\mathbf{X'} \rightarrow \mathbf{X}, \boldsymbol{\omega}' \rightarrow \boldsymbol{\omega}, \mathbf{x}' \rightarrow \mathbf{x}$

로 바꾸어서 사용한다.

2. OLS

2022.04.28 - [Programming/ML] - [Fitting] Ordinary Least Squares : OLS, 최소자승법

[Fitting] Ordinary Least Squares : OLS, 최소자승법

Ordinary Least Squares : OLS, 최소자승법Solution을 구할 수 없는 Over-determined system에서 solution의 approximation을 구하는 가장 기본적인 방법임.Machine Learning에서 Supervised Learning의 대표적인 task인 Regression을

dsaint31.tistory.com

OLS(Ordinary Least Squares)는 $y$ 방향의 residual의 제곱(squared)합을 최소화(least)함.

$$\underset{\boldsymbol{\omega}}{\min}\left\| \mathbf{y} - \mathbf{X} \boldsymbol{\omega} \right\|_2^2$$

residual vector $\mathbf{e}$는 다음과 같음.

$$\mathbf{e} = \mathbf{y} - \mathbf{X}\boldsymbol{\omega}, \qquad \mathbf{e} \in \mathbb{R}^{m}$$

OLS의 기본 error covariance assumption은 다음과 같음:

$$ \operatorname{Var}(\boldsymbol{\varepsilon}) = \sigma^2 \mathbf{I}_m$$

즉,

모든 sample의 error variance가 같음: $\text{Var}(\varepsilon_i)= \sigma^2$
sample 간 error covariance가 0임: $\text{Cov}(\varepsilon_i , \varepsilon_j)=0 \quad, i\ne j$

3. Regularization - Penalty term

OLS 의 objective function 에 penalty term이 추가된 경우로 설명하는 것이 일반적.

(단, WLS, GLS, TLS 등에도 Penalty term을 추가할 수 있음)

주의: Regularization이 된 경우는 Feature Scaling을 해줘야 제대로 동작함.

Ridge, LASSO, Elastic Net의 penalty는 coefficient 크기에 직접 작용하므로,
feature scale이 서로 다르면 penalty가 feature별로 공정하게 적용되지 않을 수 있음.
단, intercept(=bias) 는 penalty 대상에서 제외하는 게 일반적임.

3-1. Ridge Regression

2025.11.06 - [Programming/ML] - Ridge Regression

Ridge Regression

명칭의 유래Ridge: "산등성이" 또는 "융기"를 의미하는 영어 단어L2-Regularization Term 추가 시 loss function의 contour가 융기된 형태로 변형되는 데에서 유래됨.역사적 배경Tikhonov regularization (1963)과 수학

dsaint31.tistory.com

Ridge Regression은 OLS objective에 L2 penalty를 추가한 방법임.

참고로 intercept $b$ 는 penalty 대상에서 제외하는게 일반적임.

여기서 $\mathbf{X}$와 $\boldsymbol{\omega}$ 는 Affine 에서 사용된 형태임($b$가 penalty에서 빠지므로)

Objective function 은 다음과 같음:

$$\underset{\boldsymbol{\omega}, b}{\min} \frac{1}{2m} \| \mathbf{y} - (\mathbf{X} \boldsymbol{\omega} + b\mathbf{1}) \|^2_2 + \alpha \| \boldsymbol{\omega} \| ^2_2$$

Ridge는 다음 형태의 closed-form solution을 가질 수 있음.

$$
\boldsymbol{\omega}^* _{Ridge}
=
\left(
\mathbf{X}^\top \mathbf{X} + \alpha\mathbf{I}_n \right)^{-1} \mathbf{X}^\top \mathbf{y}
$$

위 식은 intercept 처리와 centering을 단순화한 표현임.

Closed Form을 가지므로 Direct 방식의 svd, cholesky 등을 사용할 수 있으나,
lsqr, sparse_cg (sparse input), sab, saga, lbfgs (positive=True) 등의 iterative 방식도 사용가능함.

https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.ridge_regression.html?utm_source=chatgpt.com

ridge_regression

Precision of the solution. Note that tol has no effect for solvers ‘svd’ and ‘cholesky’. Changed in version 1.2: Default value changed from 1e-3 to 1e-4 for consistency with other linear models.

scikit-learn.org

3-2. LASSO Regression

2025.11.08 - [Programming/ML] - LASSO Regression

LASSO Regression

명칭의 유래LASSO: Least Absolute Shrinkage and Selection Operator 의 약자이름에서 알 수 있듯이,절대값(absolute value) 기반의shrinkage(축소)와feature selection(특성 선택)을 동시에 수행하는 회귀 기법“Shrinkage”

dsaint31.tistory.com

LASSO는 OLS objective에 L1 penalty를 추가한 방법임.

$$
\underset{\boldsymbol{\omega}, b}{\min} \frac{1}{2m} \left\| \mathbf{y} -
( \mathbf{X}\boldsymbol{\omega} + b\mathbf{1} ) \right\|_2^2 + \alpha \|\boldsymbol{\omega}\|_1
$$

LASSO는 weight coefficient shrinkage와 feature selection 효과를 가짐.

LASSO 의 특징:

OLS + L1 penalty
sparse weights 를 만듦 (weight shrinkage)
일반적으로 coordinate descent (iterative 방식)로 풂

3-3. Elastic Net

https://dsaint31.me/mkdocs_site/ML/ch01/ch01_41/?h=elastic#4-elasticnet

BME

bagging boosting ensemble machine learning random forest regression scikit-learn support vector machine [ML] Classic Regressor (Summary) DeepLearning 계열을 제외한 Regressor 모델들을 간단하게 정리함. 분류 Instance Based Algorithm Mod

dsaint31.me

Elastic Net은 L1 penalty와 L2 penalty를 함께 사용하는 방법임.

$$\underset{\boldsymbol{\omega}, b}{\min}\frac{1}{2m}
\left \| \mathbf{y} - ( \mathbf{X} \boldsymbol{\omega} + b\mathbf{1} ) \right\|_2^2 + \alpha \left( \rho \| \boldsymbol{\omega} \|_1 + \frac{1-\rho}{2} \|\boldsymbol{\omega} \|_2^2 \right)$$

여기서 $\rho$는 L1과 L2의 비율을 조절하는 값임.

scikit-learn에서는 이를 l1_ratio라고 부름.

L2 penalty 쪽의 $\frac{1}{2}$ 는 미분 시 $2$가 사라지도록 하기 위한 관례적 상수임.
따라서 개념적으로는 $\rho$와 $1-\rho$의 혼합으로 이해하면 됨.
일반적으로 coordinate descent (iterative 방식)로 풂

4. Error Variance 의 차이

OLS는 $\mathbf{X}$를 fixed 또는 error-free로 두고, $\mathbf{y}$에만 error term $\boldsymbol{\varepsilon}$이 있다고 가정함.

OLS의 기본 가정은 각 sample의 error variance가 동일하고, 서로 다른 sample의 error term 간 covariance가 0이라는 것임.

WLS와 GLS도 OLS와 마찬가지로 $\mathbf{X}$는 fixed 또는 error-free로 두지만, $\mathbf{y}$의 error term $\boldsymbol{\varepsilon}$에 대한 covariance matrix를 다르게 가정함.

WLS: 각 sample의 error variance가 다를 수 있으나, 서로 다른 sample의 error term 간 covariance는 0이라고 가정함.
GLS: 각 sample의 error variance가 다를 수 있으며, 서로 다른 sample의 error term 간 covariance도 0이 아닐 수 있음.

4-1. WLS

2024.06.13 - [.../Math] - [Math] Weighted Least Squares

[Math] Weighted Least Squares

Weighted Least Squares(WLS)는sample마다 error variance가 다를 수 있다고 보고,각 residual 제곱항에 보통 $\frac{1}{\sigma_i^2}$에 비례하는 weight을 주어 추정하는 Least Squares 방법임.아래와 같이 error term의 variance

dsaint31.tistory.com

WLS(Weighted Least Squares)는 sample마다 error variance가 다르다고 보는 방법임.

즉, error covariance matrix가 diagonal matrix인 경우임.

$$
\operatorname{Var}(\boldsymbol{\varepsilon}) =
\begin{bmatrix}
\sigma_1^2 & 0 & \cdots & 0 \\
0 & \sigma_2^2 & \cdots & 0 \\
\vdots & \vdots & \ddots & \vdots \\
0 & 0 & \cdots & \sigma_m^2 \\
\end{bmatrix}
$$

따라서 WLS의 error covariance matrix 차원은 다음과 같음.

$$
\operatorname{Var}(\boldsymbol{\varepsilon})
\in
\mathbb{R}^{m \times m}
$$

WLS objective는 다음과 같음.

$$
\underset{\boldsymbol{\omega}}{\min}
\left(
\mathbf{y}
-
\mathbf{X} \boldsymbol{\omega}
\right)^\top
\mathbf{W}
\left(
\mathbf{y}
-
\mathbf{X}\boldsymbol{\omega}
\right) \\ \underset{\boldsymbol{\omega}}{\min} \sum^m_{i=1} w_i (y_i - \mathbf{x}_i^\top \boldsymbol{\omega})^2$$

여기서 $\mathbf{W}$는 weight matrix임.

$$
\mathbf{W}
=
\begin{bmatrix}
w_1 & 0 & \cdots & 0 \\
0 & w_2 & \cdots & 0 \\
\vdots & \vdots & \ddots & \vdots \\
0 & 0 & \cdots & w_m
\end{bmatrix}
\in
\mathbb{R}^{m \times m}
$$

보통 weight는 error variance의 inverse에 비례함.

$$
w_i \propto \frac{1}{\sigma_i^2}
$$

즉, measurement error variance가 큰 sample은 덜 믿고, variance가 작은 sample은 더 크게 반영함.

WLS 의 solution 은 다음과 같음:

$$
\boldsymbol{\omega}^*_{WLS}
=
\left(
\mathbf{X}^\top
\mathbf{W}
\mathbf{X}
\right)^{-1}
\mathbf{X}^\top
\mathbf{W}
\mathbf{y}
$$

차원은 다음과 같음.

$$
\mathbf{X}^\top
\mathbf{W}
\mathbf{X}
\in
\mathbb{R}^{(n+1)\times(n+1)}
$$

4-2. GLS

GLS(Generalized Least Squares)는 WLS보다 더 일반적인 Least Squares임.

WLS는 error covariance matrix가 diagonal인 경우로 각 sample에서의 error variance가 다를 수 있지만 각각은 독립인데 반해,
GLS는 error covariance matrix가 일반적인 $m \times m$ matrix 로서, 각 sample에서의 error variance가 다를 수 있으면서 각각이 항상 독립이 보장되지 않는 경우임.

Error covariance matrix는 다음과 같음 (대각행렬로 제한되지 않음):

$$
\operatorname{Var}(\boldsymbol{\varepsilon})
=
\sigma^2 \mathbf{\Omega}
$$

$\mathbf{\Omega}$ :
- Scale-free error covariancee matrix (or Structure matrix)
- 이는 error간의 상관관계 구조와 상대적인 가중치만을 담고 있음.

covariance (공분산) 에 대한 보다 자세한 내용은 다음을 참고:

[Statistics] Covariance vs. Correlation:

Covariance (공분산)"Covariance" is the raw version of correlation.두 random variable(확률변수)가 얼마나 (선형적으로) 같이 변하는 정도를 나타냄.여러 random variables 에서는 matrix로 기재됨(covariance matrix, $\Sigma$).ma

dsaint31.tistory.com

$$
\mathbf{\Omega} \in \mathbb{R}^{m \times m}
$$

각 원소는 다음을 의미함.

$$
\sigma^2 \Omega_{ij}
=
\operatorname{Cov}
\left(
\varepsilon^{(i)},
\varepsilon^{(j)}
\right)
$$

즉, GLS는 다음을 허용함.

sample마다 error variance가 다름
서로 다른 sample의 error가 correlated 될 수 있음

GLS objective는 다음과 같음.

$$
\underset{\mathbf{\omega}}{\min}
\left(
\mathbf{y}
-
\mathbf{X}\boldsymbol{\omega}
\right)^T
\mathbf{\Omega}^{-1}
\left(
\mathbf{y}
-
\mathbf{X}\boldsymbol{\omega}
\right)
$$

GLS 해는 다음과 같음.

$$
\boldsymbol{\omega}^*_{GLS}
=
\left(
\mathbf{X}^\top
\mathbf{\Omega}^{-1}
\mathbf{X}
\right)^{-1}
\mathbf{X}^\top
\mathbf{\Omega}^{-1}
\mathbf{y}
$$

OLS, WLS, GLS의 포함 관계는 다음과 같음.

$$
\text{OLS} \subset \text{WLS} \subset \text{GLS}
$$

단, 여기서 포함 관계는 “error covariance structure의 일반성” 기준임.

5. TLS

2024.06.22 - [Programming/ML] - [Fitting] Total Least Squares Regression

[Fitting] Total Least Squares Regression

Total Least Squares (TLS) RegressionTotal Least Squares (TLS) 회귀는 데이터의 모든 방향에서의 오차를 최소화하는 회귀 방법임.이는 특히 독립 변수 와 종속 변수 모두에 오차가 포함되어 있는 경우에 유용함

dsaint31.tistory.com

TLS(Total Least Squares)는 OLS, WLS, GLS와 관점이 다름.

OLS, WLS, GLS는 기본적으로 $\mathbf{X}$는 fixed 또는 error-free라고 보고, $\mathbf{y}$ 쪽 residual을 최소화함.
반면 TLS는 $\mathbf{X}$와 $\mathbf{y}$ 양쪽에 measurement error가 있다고 봄.

OLS 계열에서는 이상적인 경우의 모델은 다음과 같음:

$$\mathbf{y}=\mathbf{X}\boldsymbol{\omega}+\boldsymbol{\varepsilon}$$

하지만 TLS에서는 관측된 $\mathbf{X}$와 $\mathbf{y}$ 모두 오차를 포함한다고 봄.

$$
\left( \mathbf{X} + \Delta \mathbf{X} \right)\boldsymbol{\omega}
=
\mathbf{y} + \Delta \mathbf{y}
$$

TLS는 다음 perturbation (작은 변화량,수정량을 뜻함: correction)을 최소화함.

( $ 전체의 Euclidean perturbation을 최소화하기 때문에 Feature Scaling이 매우 중요)

$$
\underset{\Delta \mathbf{X}, \Delta \mathbf{y}, \boldsymbol{\omega}}{\min}
\|
\left[
\Delta \mathbf{X}
\
\Delta \mathbf{y}
\right]
\|_F^2
$$

subject to

$$
( \mathbf{X} + \Delta \mathbf{X}) \boldsymbol{\omega}
=
\mathbf{y} + \Delta \mathbf{y}
$$

여기서 $\| \mathbf{A} \| _F = \displaystyle \sqrt{ \sum^m_{i=1} \sum^n_{j=1} a^2 _{ij} }$ 이며, Frobenius norm이라고 불림.
위의 식에선 $\mathbf{X}$와 $\mathbf{y}$에서 발생한 모든 correction (or error) 의 제곱합임.

$\Delta \mathbf{X}$와 $\Delta \mathbf{y}$는
실제 관측값에 섞여 있다고 가정하는
measurement error 또는
해당 error를 제거하기 위한 작은 correction으로 해석됨.
즉, 이들의 모든 원소를 각각 제곱하여 합한 값을 최소화하는 것이 TLS에서 요구됨.

TLS에서 augmented data matrix는 다음과 같음.

$$
\mathbf{A}
=
[
\mathbf{X}
\
\mathbf{y}
]
$$

차원은 다음과 같음.

$$
\mathbf{A}
\in
\mathbb{R}^{m \times (n+2)}
$$

여기서 $\mathbf{X}$가 intercept column을 이미 포함하므로 $(n+1)$개의 column을 가지고, $\mathbf{y}$ column이 하나 더 붙어 총 $(n+2)$개 column이 됨.

Standard TLS는
보통 SVD를 이용해 풂.

TLS 의 특징

$\mathbf{X}$ 와 $\mathbf{y}$ 양쪽에 measurement error 존재
vertical residual이 아니라 orthogonal residual 관점
augmented matrix $\left[ \mathbf{X} \ \mathbf{y} \right]$ 사용
대표 solver: SVD

기본 TLS는 SVD 기반 closed-form/direct solution이 가능하지만,
penalty, 구조 제약, weight, robustness 조건등이 들어간 TLS는
iterative optimization으로 푸는 것이 보다 일반적임.

참고: 차원 정리

intercept를 포함한 경우임.

기호	의미	차원
$m$	sample 수	scalar
$n$	feature 수	scalar
$\mathbf{X}$	intercept 포함 design matrix	$m \times (n+1)$
$\boldsymbol{\omega}$	itercept 포함 parameter vector	$(n+1) \times 1$
$\mathbf{y}$	target vector	$m \times 1$
$\hat{\mathbf{y}}$	predicted value vector	$m \times 1$
$\mathbf{e}$	residual vector	$m \times 1$
$\boldsymbol{\varepsilon}$	error vector	$m \times 1$
$\mathbf{W}$	WLS weight matrix	$m \times m$
$\mathbf{\Omega}$	GLS error covariance matrix	$m \times m$
$\mathbf{X}^\top \mathbf{X}$	feature-feature Gram matrix	$(n+1)\times(n+1)$
$\mathbf{X}^\top \mathbf{W} \mathbf{X}$	WLS parameter system matrix	$(n+1)\times(n+1)$
${\mathbf{X}}^\top \mathbf{\Omega}^{-1} \mathbf{X}$	GLS parameter system matrix	$(n+1)\times(n+1)$
$[\mathbf{X}\ \mathbf{y}]$	TLS augmented matrix, intercept 포함	$m \times (n+2)$

요약

sample 수를 $m$, feature 수를 $n$으로 두면, intercept를 포함한 design matrix는 $\mathbf{X}\in\mathbb{R}^{m\times (n+1)}$임.
OLS는 $y$ 방향 residual의 제곱합을 최소화하는 기본 least squares임.
Ridge, LASSO, Elastic Net은 OLS objective에 regularization penalty를 추가한 penalized least squares 계열임.
WLS는 sample별 error variance가 다를 때 diagonal weight matrix $\mathbf{W}\in\mathbb{R}^{m\times m}$를 사용하는 방법임.
GLS는 sample error들 사이의 covariance까지 포함하여 $\mathbf{\Omega}\in\mathbb{R}^{m\times m}$를 사용하는 WLS의 일반화임.
TLS는 $X$와 $y$ 양쪽에 measurement error가 있다고 보고, vertical residual이 아니라 orthogonal residual 또는 total perturbation을 최소화하는 방법임.
Normal equation, QR, SVD, WLS direct solve, GLS direct solve는 direct linear algebra 계열이고, GD, SGD, coordinate descent는 iterative optimization 계열임.
OLS와 WLS에서는 feature scaling이 필수는 아니지만, Penalized Linear Regression과 TLS에서는 scale이 objective function에 직접적인 영향을 주므로 일반적으로 scaling을 수행해야 함.

같이보면 좋은 자료들

https://dsaint31.me/mkdocs_site/ML/ch01/ch01_41/

BME

dsaint31.me

2022.05.01 - [.../Math] - [Statistics] Covariance vs. Correlation:

[Statistics] Covariance vs. Correlation:

dsaint31.tistory.com

2024.06.13 - [.../Math] - [Math] Weighted Least Squares

[Math] Weighted Least Squares

dsaint31.tistory.com

2024.06.22 - [Programming/ML] - [Fitting] Total Least Squares Regression

[Fitting] Total Least Squares Regression

dsaint31.tistory.com

Bootstrap Sampling 기반 Accuracy 추정 지표

dsaint31x — Tue, 14 Apr 2026 13:48:46 +0900

0. 왜 Bootstrap Accuracy Estimation이 필요한가

모델 성능 평가의 이상적인 방법은 독립적인 test set을 사용하는 것임.
하지만 데이터가 부족한 경우, 충분한 test set을 확보하기 어려움.

Bootstrap accuracy estimation은

복원 추출(sampling with replacement) 을 반복(Bootstrap Iteration)하여
하나의 dataset으로 여러 training/evaluation 조합을 만들고
이를 통해 모델의 일반화 성능을 추정하는 방법임.
단일 train/test split 의 경우와 비교하여 "분산(variance)을 줄인 보다 안정적인 성능 추정" 이 가능

2024.06.05 - [.../Math] - [ML] Bootstrap Sampling

[ML] Bootstrap Sampling

dsaint31.tistory.com

하지만 어떻게 평가하느냐에 따라

낙관적(optimistic) 또는
비관적(pessimistic) 편향(bias)이 발생함.

이를 보정하는 방향으로 다음 순서로 발전해 왔음:

이 문서는 간단한 예제를 통해 이들을 비교 설명함.

이 문서에 다룬 것 외에도 Optimism-corrected Accuracy도 있음:

2026.05.26 - [Programming/ML] - Optimism-corrected Accuracy

Optimism-corrected Accuracy

Optimism-corrected accuracy는bootstrap sampling을 통해resubstitution accuracy에 포함된 낙관적 bias를추정하고 보정한 accuracy임.여기서 optimism은 다음을 의미함.model이 학습에 사용한 data에서 평가될 때, 실제 일

dsaint31.tistory.com

1. 예제 설정

이하 모든 설명에서 다음 4-class 분류 문제를 공통 예제로 사용함.

항목	값
샘플 수 $N$	20
클래스	C1, C2, C3, C4
실제 클래스 분포 $\hat{p}_k$	$[0.40,\ 0.30,\ 0.20,\ 0.10]$
예측 클래스 분포 $\hat{q}_k$	$[0.40,\ 0.30,\ 0.20,\ 0.10]$
Bootstrap Iteration 갯수 $B$	100

Bootstrap 실험을 통해 다음 두 평균 accuracy 값을 얻었다고 가정함:

$$ \begin{aligned} \text{Acc}_{\text{train}} &= 0.95 \quad \text{(평균 훈련셋 accuracy, optimistic)} \\ \text{Acc}_{\text{OOB}} &= 0.72 \quad \text{(평균 OOB accuracy, pessimistic)}\end{aligned}$$

bootstrap iteration마다 훈련에 사용되었던 자기 bootstrap sample에서 다시 평가한 평균 accuracy 임.
$\text{Acc}_\text{OOB}$는 각 bootstrap iteration에서 선택되지 않은 out-of-bag (OOB) sample을 이용해 평가한 accuracy임

2. Resubstitution Estimate

2-1. Concept

Bootstrap Iteration (b)마다 bootstrap sample $\mathcal{D}^{*(b)}$를 복원 추출로 생성함.
각 bootstrap sample $\mathcal{D}^{*(b)}$로 모델 $\mathcal{M}^{(b)}$를 학습함.
학습에 사용한 동일한 bootstrap sample $\mathcal{D}^{*(b)}$에서 다시 평가한 accuracy를 (b)-th resubstitution accuracy라고 함.

$$
\text{Acc}_{\text{resub}}^{(b)} = \text{Acc}\left(\mathcal{M}^{(b)}, \mathcal{D}^{*(b)}\right)
$$

따라서 bootstrap 전체에 대한 평균 resubstitution accuracy는 다음과 같이 정의됨.

$$\text{Acc}_{\text{resub}} = \frac{1}{B} \sum_{b=1}^{B} \text{Acc}\left(\mathcal{M}^{(b)}, \mathcal{D}^{*(b)}\right)$$

위 예제에서 $\text{Acc}_{\text{resub}} = 0.95$ 로 둔 값이 이에 해당함.

이는 각 bootstrap model을 자신이 학습한 데이터로 다시 평가한 값이므로,
training accuracy라고 볼 수 있지만 더 정확한 명칭은 평균 resubstitution accuracy (=mean resubstitution estimate)임.

resubstitution이 붙은 이유는
학습에 사용한 sample을 평가 단계에서 다시 대입해서 사용하기 때문

2-2. Problem: Optimistic Bias

Resubstitution estimate는 학습에 사용한 sample을 다시 평가에 사용하므로 낙관적 편향(optimistic bias)을 가짐.

즉, $\mathcal{M}^{(b)}$ 는 이미 $\mathcal{D}^{*(b)}$를 이용해 학습되었고,
평가도 같은 $\mathcal{D}^{*(b)}$에서 수행되므로
실제 일반화 성능보다 accuracy가 높게 추정될 수 있음 (=Optimistic bias).

특히 다음과 같은 경우 낙관적 편향이 더 커질 수 있음.

sample 수가 적은 경우
모델 복잡도가 높은 경우
class imbalance가 심한 경우
소수 클래스 sample이 bootstrap sample 안에서 반복적으로 중복 선택되는 경우

예를 들어 C4처럼 원본 dataset에 sample이 2개뿐인 소수 클래스는 bootstrap sample 안에서 같은 sample이 여러 번 중복될 수 있음.
이 경우 모델은 해당 sample을 사실상 외운 상태(Memorization)가 되어
training accuracy는 높게 나오지만, 실제 unseen sample에 대한 일반화 성능은 훨씬 낮을 수 있음.

따라서 resubstitution estimate는

모델의 학습 데이터 적합 정도를 확인하는 용도 등으로 사용할 수 있지만,
일반화 성능 추정치로는 부적절함.

3. Ordinary Bootstrap Estimate

3-1. Concept

각 bootstrap sample $\mathcal{D}^{*(b)}$ 로 훈련한 모델 $\mathcal{M}^{(b)}$을
원본 dataset 전체 $\mathcal{D}$로 평가하고 이를 $B$회 평균냄.

$$\text{Acc}_{\text{ordinary_boot}} = \frac{1}{B}\sum_{b=1}^{B} \text{Acc}(\mathcal{M}^{(b)}, \mathcal{D})$$

참고로, 이 값은 위의 예제에서 구하진 않음.

3-2. Problem: Optimistic Bias

이 방식도 optimistic bais가 발생.
test set으로 사용되는 $\mathcal{D}$에 이론적으로 63.2%가량의 훈련 샘플이 포함 되기 때문임.
따라서 prediction error 기준으로는 error를 과소추정하고,
accuracy 기준으로는 성능을 과대평가하는 optimistic bias가 발생한다.
특히 sample 수가 적거나 class imbalance가 심한 multi-class 문제에서는,
훈련 중 본 sample에 대한 높은 성능이 전체 accuracy를 크게 끌어올릴 수 있다.
특히 C4처럼 샘플이 2개뿐인 소수 클래스도 훈련셋에서는 100% accuracy를 낼 수 있어, 실제 일반화 성능 대비 크게 과장된 수치가 됨.
적은 수의 데이터를 가진 경우와 멀티 클래스인 경우에 사용 비권장.

Resubstitution estimate보다는 낫지만,
여전히 training data가 evaluation data에 섞이므로 accuracy가 과대평가될 수 있음.

4. OOB (Out-of-Bag) Bootstrap

4-1. Concept

sampling with replacement 특성상

각 샘플이 특정 bootstrap $\mathcal{D}^{*(b)}$ 에서 제외될 이론적 확률이 다음과 같음:

$$P(\text{excluded}) = \left(1 - \frac{1}{N}\right)^N \approx e^{-1} \approx 0.368$$

이 제외된 샘플들을 OOB sample $\mathcal{D}^{\text{OOB}(b)}$ 이라 함.
완벽하게 훈련에 사용되지 않은 샘플들이므로 독립적인 평가가 가능함.
전체 20개 샘플 중 평균 $20 \times 0.368 \approx 7.4$개가 OOB sample로 사용됨.

$$ \text{Acc}_{\text{OOB}} = \frac{1}{N} \sum_{i=1}^{N} \text{Acc}\!\left( \left\{ \mathcal{M}^{(b)} \mid i \notin \mathcal{D}^{*(b)} \right\}, \mathbf{x}_i \right) = 0.72$$

$N$ : the number of samples,
$\mathcal{M}^{(b)}$ : the model trained on the $b$-th bootstrap sample,
$\mathcal{D}^{*(b)}$ : is the $b$-th bootstrap training set,
$i \notin \mathcal{D}^{*(b)}$ : sample $i$ is out-of-bag for model $\mathcal{M}^{(b)}$
$\text{Acc}(\cdot)$ : the prediction accuracy evaluated using the OOB models for sample $\mathbf{x}_i$

2024.06.20 - [.../Math] - [ML] Out of Bag: 유도하기.

[ML] Out of Bag: 유도하기.

dsaint31.tistory.com

4-2. Per-Class OOB / Training Sample Analysis

클래스	비율	전체 수 $N_k$	기대 OOB 수 ($\times 0.368$)	기대 훈련 수 ($\times 0.632$)
C1	0.40	8	$\approx 2.94$	$\approx 5.06$
C2	0.30	6	$\approx 2.21$	$\approx 3.79$
C3	0.20	4	$\approx 1.47$	$\approx 2.53$
C4	0.10	2	$\approx 0.74$	$\approx 1.26$

4-3. 문제점: Problem: Pessimistic Bias Worsens with More Classes

OOB estimate는

해당 bootstrap model 기준으로 학습에 사용되지 않은 sample을 평가하므로,
앞서 resubstitution estimate나 ordinary bootstrap estimate보다 일반화 성능 평가에 가깝다.

하지만, 데이터수가 적거나, 클래스 수가 많고 데이터가 불균형할수록 다음 세 가지 문제가 동시에 발생함:

문제 1. 소수 클래스 OOB 평가가 어려움:

C4 샘플이 2개 뿐이고

각 C4 샘플이 bootstrap에 포함될 확률이 $\approx 0.632$이므로,

두 샘플 모두 포함되어 C4의 OOB sample이 하나도 없을 확률이 다음과 같음:

$$P(\text{C4 OOB} = 0) \approx 0.632^2 \approx 0.40$$

즉 bootstrap의 약 40%에서 C4에 대한 OOB 평가가 아예 불가능함.
이는 $\text{Acc}_{\text{OOB}}$의 분산(variance)을 크게 증가시킴.

문제 2. 다수 클래스 위주의 편향

C4의 OOB 평가가 불가능한 bootstrap에서는
C4의 성능(적은 수의 클래스에 대한 성능)이 전혀 반영되지 않으므로,
$\text{Acc}_{\text{OOB}}$는 다수 클래스(C1, C2) 위주로 편향됨.
모델이 C4를 전혀 맞추지 못해도 해당 bootstrap의 OOB accuracy에는 영향이 없음.

문제 3. 소수 클래스 훈련 부족에 의한 pessimistic bias 심화

C4는 원본 dataset에 2개뿐임.

하나의 bootstrap sample에서 C4가 학습에 사용되는 기대 sample 수는 다음과 같음:

$$2 \times 0.632 \approx 1.262$$

각 bootrtrap iteration에서 C4는 평균 1.26개만으로 훈련해야 하므로 모델이 C4 패턴을 제대로 학습하기 어려움.
OOB 평가에서 C4를 자주 틀리게 되어 $\text{Acc}_{\text{OOB}}$의 pessimistic bias가 심화됨.

OOB의 문제점 정리

세 문제를 종합하면:

$$ \underbrace{\text{클래스 수} \uparrow}_{\text{소수 클래스 OOB 부족}} \Rightarrow \underbrace{\text{Var}(\text{Acc}_{\text{OOB}}) \uparrow}_{\text{추정 불안정}} + \underbrace{\text{Bias}(\text{Acc}_{\text{OOB}}) \downarrow}_{\text{비관적 편향 심화}}$$

이같은 OOB의 단점이 .632 및 .632+ 보정이 등장하게 된 배경이 됨.

보통 OOB는 가장 나쁜(=비관적인) 결과가 나옴!

5. `.632` Bootstrap

5-1. Concept

Basic Bootstrap의 optimistic bias (낙관적 편향) 와 OOB의 pessimistic bias (비관적 편향) 를
고정 가중치(fixed weight) 로 결합하여 보정하려는 방법.

다음은 Accuracy 기준으로 살펴본 .632 Bootstrap 임:

$$\text{Acc}_{.632} = 0.368 \times \text{Acc}_{\text{resub}} + 0.632 \times \text{Acc}_{\text{OOB}}$$

$$= 0.368 \times 0.95 + 0.632 \times 0.72 = 0.3496 + 0.4550 = \mathbf{0.805}$$

가중치 $0.632$는 각 샘플이 하나의 bootstrap에 포함될 확률 $1 - e^{-1} \approx 0.632$에서 자연스럽게 유도됨.

5-2. Problem: Residual Optimistic Bias under Overfitting

$\text{Acc}_{\text{train}} = 0.95$처럼 과적합이 심한 경우에도 훈련 accuracy가 항상 고정 비율 $0.368$만큼 반영됨.
과적합 정도 차이가 있음에도 이를 고려하지 않고 항상 같은 가중치를 적용하는 것이 .632의 근본적 한계임.

즉, 모델이 심하게 과적합되어 $\text{Acc}_\text{resub}$가 거의 의미없는 1.0 이 나온 경우에도, 이를 36.8% 를 반영함.

.632 bootstrap은

resubstitution estimate보다는 덜 낙관적이지만,
심한 과적합 상황에서는 여전히 낙관적 편향이 남을 수 있음.

6. `.632`+ Bootstrap

Efron & Tibshirani (1997)가 제안한 방법으로, .632의 고정 가중치 문제를 해결함.

과적합(over-fit) 정도에 따라 가중치를 동적으로 조정함.

Step 1. No-Information Accuracy $\gamma_{\text{acc}}$ 계산

No-information accuracy는 feature와 label 사이에 유용한 관계가 없다고 가정했을 때 기대되는 accuracy임.

모델이 학습 없이 클래스 분포만으로 예측할 때의 기대 accuracy.
모델 성능의 최저 기준선(baseline) 역할을 함.

$$\gamma_{\text{acc}} = \sum_{k=1}^{K} \hat{p}_k \cdot \hat{q}_k$$

$$= (0.40 \times 0.40) + (0.30 \times 0.30) + (0.20 \times 0.20) + (0.10 \times 0.10)$$

$$= 0.16 + 0.09 + 0.04 + 0.01 = \mathbf{0.30}$$

4-class 균등 분포라면 $\gamma_{\text{acc}} = 0.25$이지만, 클래스 불균형으로 인해 $0.30$이 됨.
클래스 수 $K$가 커질수록 $\sum_k \hat{p}_k^2$이 감소하여 $\gamma_{\text{acc}}$는 낮아짐.

하지만,

class imbalance가 심하면 클래스 수가 증가하더라도
$\acc\gamma_{\text{acc}}$ 가 반드시 낮아지지는 않음.

Step 2. Relative Overfitting Rate $\hat{R}$ 계산

Accuracy 기준에서 relative overfitting rate를 다음과 같이 정의:

$$\hat{R} = \frac{\text{Acc}_{\text{train}} - \text{Acc}_{\text{OOB}}}{\text{Acc}_{\text{train}} - \gamma_{\text{acc}}} = \frac{0.95 - 0.72}{0.95 - 0.30} = \frac{0.23}{0.65} \approx \mathbf{0.354}$$

참고: Qualitative Meaning of $\hat{R}$

$\hat{R}$은 단순히 train/OOB accuracy의 차이가 아니라,
"그 차이가 얼마나 심각한가(얼마나 과적합 되었나)"
를 맥락 속에서 정규화한 지표임.

$$\hat{R} = \frac{\overbrace{\text{Acc}_{\text{train}} - \text{Acc}_{\text{OOB}}}^{\text{실제 과적합 격차}}}{\underbrace{\text{Acc}_{\text{train}} - \gamma_{\text{acc}}}_{\text{최대 가능 과적합 격차}}} = \frac{\text{실제 과적합 격차}}{\text{최악 시나리오의 격차}}$$

분자 $(\text{Acc}_{\text{train}} - \text{Acc}_{\text{OOB}})$:
- 모델이 실제로 과적합 격차.
- 훈련셋과 OOB셋 간의 실제 성능 격차.
분모 $(\text{Acc}_{\text{train}} - \gamma_{\text{acc}})$:
- 모델이 낼 수 있는 최대 가능 과적합 격차.
- 훈련 accuracy가 아무런 의미 없는 수준인 $\gamma_{\text{acc}}$에서 최대로 부풀어 오를 때의 격차.
$\hat{R}$은 모델 신뢰도에 대한 지표 로서,
이 값이 클수록 낙관적인 훈련 accuracy를 덜 신뢰 해야 함을 의미함.

$\hat{R}$ 값	정성적 의미	가중치 $w$ 방향
$\hat{R} \approx 0$	과적합 없음: train/OOB accuracy 거의 동일	$w \to 0.632$ (.632와 동일)
$\hat{R} \approx 0.354$	본 예제: 중간 수준의 과적합	$w \approx 0.727$
$\hat{R} \approx 1$	심각한 과적합: 훈련 accuracy가 baseline 수준까지 과장	$w \to 1.0$ (OOB만 사용)

Step 3. Dynamic Weight $w$ 계산

.632+ bootstrap에서는 OOB accuracy에 부여할 가중치 $w$를 다음과 같이 계산:

$$w = \frac{0.632}{1 - 0.368 \times \hat{R}} = \frac{0.632}{1 - 0.368 \times 0.354} = \frac{0.632}{0.870} \approx \mathbf{0.727}$$

$w$는 항상 $[0.632,\ 1.0]$ 범위에서 결정됨.
$w = 0.727 > 0.632$이므로, .632 estimator보다 OOB accuracy에 더 많은 가중치를 부여함.

Step 4. 최종 `.632+` Accuracy

.632+ accuracy는 다음과 같이 계산:

$$\text{Acc}_{.632+} = (1-w) \times \text{Acc}_{\text{train}} + w \times \text{Acc}_{\text{OOB}}$$

$$= 0.273 \times 0.95 + 0.727 \times 0.72 = 0.259 + 0.524 = \mathbf{0.783}$$

참고: `.632` vs `.632+`: 가중치 비교

	$\text{Acc}_{\text{train}}$ 가중치	$\text{Acc}_{\text{OOB}}$ 가중치
.632	$0.368$ (고정)	$0.632$ (고정)
.632+	$(1 - w) \leq 0.368$	$w \geq 0.632$

$w \geq 0.632$이므로 .632+의 $\text{Acc}_{\text{OOB}}$ 가중치는 항상 .632보다 크거나 같음.

따라서 $\text{Acc}_{\text{train}} > \text{Acc}_{\text{OOB}}$인 모든 일반적인 과적합 상황에서 다음이 성립:

$$\text{Acc}_{.632+} \leq \text{Acc}_{.632} \quad \checkmark$$

예제: Extreme Overfitting Scenario Verification

$\text{Acc}_{\text{train}} = 1.0$, $\text{Acc}_{\text{OOB}} = \gamma_{\text{acc}} = 0.25$ (랜덤 수준, 4-class 균등)인 경우:

$$\hat{R} = \frac{1.0 - 0.25}{1.0 - 0.25} = 1.0$$

$$w = \frac{0.632}{1 - 0.368 \times 1.0} = \frac{0.632}{0.632} = 1.0$$

$$\text{Acc}_{.632} = 0.368 \times 1.0 + 0.632 \times 0.25 = \mathbf{0.526}$$

$$\text{Acc}_{.632+} = 0 \times 1.0 + 1.0 \times 0.25 = \mathbf{0.250}$$

$\hat{R} = 1.0$의 정성적 의미: 실제 과적합 격차가 최대 가능 격차와 완전히 일치함.
- 훈련된 모델의 일반적인 accuracy가
- 아무런 의미 없는 수준($\gamma_{\text{acc}}$, No-information accuracy)과 같은
- 최악의 시나리오가 실현된 상태임.
.632+는 $w = 1.0$으로 설정하여 과적합으로 좋은 듯이 보이는 resubstituion accuracy (=훈련셋에서의 accuracy)를 완전히 무시함.
반면 .632는 이 상황을 감지하지 못하고 무의미한 $\text{Acc}_{\text{train}} = 1.0$을 여전히 $36.8%$ 반영하여 크게 과장된 $0.526$을 출력함.

$$\underbrace{\hat{R} \to 1}_{\text{최악의 과적합}} \Rightarrow \underbrace{w \to 1}_{\text{훈련 accuracy 완전 배제}} \Rightarrow \underbrace{\text{Acc}_{.632+} \to \text{Acc}_{\text{OOB}}}_{\text{.632보다 낮아짐}}$$

7. 결론

방법	계산식	결과	편향	특징
Basic Bootstrap	$\text{Acc}_{\text{train}}$	$0.950$	낙관적 ↑↑	평가/훈련 데이터 중복
OOB Bootstrap	$\text{Acc}_{\text{OOB}}$	$0.720$	비관적 ↓	훈련 63.2%만 사용
.632 Bootstrap	$0.368 \times 0.95 + 0.632 \times 0.72$	$0.805$	약간 낙관적	고정 가중치
.632+ Bootstrap	$0.273 \times 0.95 + 0.727 \times 0.72$	$0.783$	보정됨 ✓	$\hat{R}$ 기반 동적 가중치

$$\underbrace{\text{Basic}}_{\text{낙관적 편향}} \xrightarrow{\text{훈련/평가 분리}} \underbrace{\text{OOB}}_{\text{비관적 편향}} \xrightarrow{\text{고정 가중 결합}} \underbrace{\text{.632}}_{\text{잔존 낙관 편향}} \xrightarrow{\hat{R}\text{ 동적 보정}} \underbrace{\text{.632+}}_{\text{편향 최소화} \checkmark}$$

.632+의 핵심은
- $\hat{R}$이 "substitution accuracy를 얼마나 신뢰할 수 없는가"를 동적으로 정량화($\hat{R}$)하고,
- 이에 비례하여 더 신뢰할 수 있는 OOB accuracy의 비중을 높인다는 것임.
4-class처럼 클래스가 많아 $\gamma_{\text{acc}}$가 낮아지면
- $\hat{R}$의 분모가 커져 $\hat{R}$이 작아지고
- $w$가 $0.632$에 가까워짐.
반대로 Overfit(과적합)이 심할수록
- $\hat{R} \to 1$, $w \to 1$로 수렴하여
- OOB accuracy만을 신뢰하는 방향으로 자동 조정됨.

Random Forest는 OOB 방식을 기본 평가 방식으로 사용함 (대규모 데이터 권장)

일반적인 소규모 데이터셋에서는 .632 또는 .632+를 권장함.

따라서 일반적으로 작은 dataset에서 단순 resubstitution estimate는 일반화 성능을 크게 과대평가할 수 있음.

OOB estimate는 더 현실적인 평가에 가깝지만,
sample 수가 작거나 class imbalance가 심한 경우에는 불안정할 수 있음.

.632와 .632+는 이러한 문제를 완화하기 위한 bootstrap 기반 보정 추정량이며,
특히 .632+는 과적합 정도를 반영하여 가중치를 조정한다는 점에서 .632보다 더 나은 선택임.

References

Efron, B. (1983). Estimating the error rate of a prediction rule: improvement on cross-validation. Journal of the American Statistical Association.

https://www.jstor.org/stable/2288636?seq=1

Efron, B., & Tibshirani, R. (1997). Improvements on cross-validation: The .632+ bootstrap method. Journal of the American Statistical Association, 92(438), 548–560.

https://www.jstor.org/stable/2965703

같이보면 좋은 자료들

https://dsaint31.me/mkdocs_site/ML/ch02/ml_cls_metrics/

BME

dsaint31.me

https://ds31x.tistory.com/307

[ML] Classification 과 관련 metrics 에 대한 소개.

ds31x.tistory.com

XAI: Coefficient, Feature importance, and SHAP

dsaint31x — Tue, 24 Mar 2026 14:42:14 +0900

XAI는 eXplainable AI의 약어로,
AI 모델이 왜 이같은 예측(결과)을 내어놓았는지를 설명하는 기술을 가리킴.

이 글은 XAI에서 사용되는 도구들인

coefficient,
feature importance
SHAP
를 비교 설명함.

사실 SHAP를 설명하기 위한 글로,

통계분석이나 classic ML의 사용자들에게 익숙한 coefficient와 feautre importance를 통해

SHAP의 특징을 설명하는 글임.

coefficient

coefficient는 변수에 곱해지는 상수를 가리키는 용어로,
ML에선 다음을 의미함:

보통 선형모델(linear model), 예를 들어
- Linear Regression이나
- Logistic Regression에서
변수에 곱해지는 계수를 가리킴 (parameter, weight).

Logistic Regression에서

age의 coefficient가 양수이면 age가 커질수록 class 1(=Positive) 일 확률이 커짐.
때문에, coefficient 절댓값이 크면 영향력이 크다는 해석이 가능함.

이같은 해석은 가능하지만 다음을 고려해서 결론을 내려야 함:

coefficient가 곱해지는 대상 변수의 feature scale 을 고려해야 한다.
one-hot encoding 된 범주형 변수는 기준 범주(reference category)에 대한 상대 비교가 됨
다른 변수와 상호작용이 큰 비선형 모델(feature간의 correlation이 큰 경우)에서는 coefficient로 영향력을 설명하기 어려움.

즉 coefficient는

"모델 (주로 선형)에서의 파라미터" 로서
관련 feature가 모델의 결과에 영향을 얼마나 주는지를 파악하는데 도움이 되나
feature간 correlation이 크거나, feature간의 feature scale의 차이가 매우 차이가 나는 경우엔
단순 절대값으로 결과에 영향력으로 판단해서는 안 됨.

참고로, Random Forest 같은 tree 모델에서는 아예 coefficient라는 개념 자체가 없다는 점도 유의해야 함.

Random Forest 에선 feature importance를 통해
특정 feature가 Random Forest 모델의 결과값에 대한 영향력을 파악할 수 있음.

feature importance

feature importance는 tree 기반 모델이 자주 제공하는 global "중요도 요약값" 이라고 할 수 있음.

이는 tree기반 모델에서 다음을 의미함:

어떤 feature가 tree기반 모델에서 split에 많이 기여한 정도.
즉, split를 통해 얼마나 impurity 감소(gini계수로 impurity정도 계산)에 공헌했는 지를 의미함: purity increament
주로 상위 노드에서 사용되는 feature들이 높은 feature importance를 가짐.

실제 정량적인 예제가 필요하다면 다음을 참고:

2024.11.10 - [Programming/ML] - [ML] Feature Importances for Decision Tree

[ML] Feature Importances for Decision Tree

이 문서는 Feature Importance를 Decision Tree에서 Gini Impurity Measure를 이용하여 계산하는 예제를 보여줌.Tree 예시 (depth = 3) [Root] (X1) [5:5] / \ Node1 Node2 (X2) (X3) [4:1] [1:4] / \ / \Leaf1 Leaf2 Leaf3 Leaf4[3:0] [1:1] [0:2] [

dsaint31.tistory.com

결국, feature importance는

모델 전체 수준(global)에서
그 feature가 얼마나 많이 사용되었는지를 정량적으로 보여주는 값임.

하지만 다음을 주의해야 함:

coefficient의 경우 sign을 통해 어느 방향으로 영향을 주는지를 파악가능한 것과 달리,
feature importance는 방향성을 전혀 애기해주지 않음.
개별 sample에 대한 설명이 불가함.
- 특정 환자에선 age가 결과에 큰 영향을 주고,
- 다른 환자에선 혈당이 큰 영향을 줄 수 있는데
- 이를 feature importance로는 구분할 수 없음.
범주형 변수를 one-hot encoding 할 경우, 해당 feature의 영향력이 분산됨 (보통은 다 더해서 다시 확인함).
split에 미치는 영향이기 때문에 실제 중요도의 정도와 차이가 있을 수 있음.

SHAP

SHAP은 SHapley Additive exPlanations의 약자로,
게임이론(game theory)의 Shapley value를 머신러닝 모델 해석에 적용한 설명 기법임.

SHAP은
Lundberg와 Lee가 2017년에 발표한 논문
"A Unified Approach to Interpreting Model Predictions"를 통해 널리 소개됨.

이는 각 feature가 예측값에 얼마나 기여했는지를 정량적으로 분해해 설명하는 방법으로
복잡한 비선형 모델에도 비교적 일관된 방식으로 적용가능하기 때문에
XAI의 대표 기법 중 하나로 인정됨.

SHAP는

각 sample에서
특정 feature가 예측 결과의 값(e.g. binary classification의 경우 postive일 확률값)을 얼마나 증가시켰는지 또는 감소시켰는지를 분해하여 보여줌.
이들에 대한 절대값 평균을 취하여 각 feature가 모델 전체의 결과에 얼마나 기여하는지도 보여줌.

SHAP는 모델의 예측값을 다음으로 분해해서 보여줌:

예측값 = "base_value" + "각각의 feature의 기여도의 합"

SAHP는

개별 sample에 대해서 모델의 결과에 미친 각 feature의 영향을 정량화할 수 있으며,
이들을 더하면 해당 sample에 대한 모델의 결과값이 됨.

다음과 같은 특징을 가짐:

개별 샘플 수준(local explanation)에 적용하여 feature의 중요도를 비교 가능
- local explanation 에선 특정 feature가 어느 방향(sign에 의해)으로 영향을 주는지도 파악 가능.
- 주로 waterfall plot 을 사용함.
전체 데이터 수준(global explanation)에 적용도 가능
- mean absolute SHAP 를 각 feature로 구하면,
- 전체 데이터에서 각 feature의 기여도를 파악할 수 있음.
- 주로 summary plot을 사용함.
sign이 의미를 가짐:
- binary classification의 경우:
- +면 class 1 방향으로 영향을 주고
- -면 class 1 반대 방향으로 영향을 줌.
각 샘플의 예측을 feature별 기여도의 합으로 설명 가능.

feature importance와 mean absolute SHAP는
비슷한 순서로 feature들을 정렬할 수도 있으나,
정확히 일치하는 경우가 오히려 적음: 정의 차체가 다름.
단, 기여도가 매우 큰 feature에선
두 경우 모두 큰 값을 가지기 쉬움.

Waterfall plot

다음은 waterfall plot으로 SHAP가 개별 sample에서 어떻게 결과가 나왔는지를 설명하는지를 보여준다.

다음은 binary classification 모델에서 특정 샘플이 positive일 확률이 0.414가 나왔는데 이 결과가 어떻게 나왔는지를 각 feature의 기여도록 분해하여 보여줌.

base value 는 $E[F(X)]=0.583$ 으로 feature값을 전혀 모를 때 positive라고 예측할 평균확률임.
맨 아래의 smoking 의 값이 Former (예전 담배를 핌) 라는 것이 positive일 확률을 0.01 정도 올림.
sex 가 Male 이라는 값을 가지는 점이 positive일 확률을 0.01 올림.
주거 지역(region)이 incheon 이라는 것이 positive일 확률을 0.02 낮춤.
bmi가 17.3 이라는 점이 positive 일 확률을 0.03 낮춤.
glucose가 123.4라는 점이 확률을 0.08 올림.
age가 20이라는 점이 확률을 0.21 낮춤.
이들을 다 더함으로서 모델은 positive일 확률을 현재 sample $\textbf{x}$에 대해 0.414 로 구함.

Summary plot

다음은 SHAP가 전체 데이터를 사용하여 모델에서 예측에 각 feature가 어떻게 기여했는지를 보여주는 summary plot임.

위에 있을수록 mean absolute SHAP 값이 큰 feature로 결과에 영향력이 더 크다고 볼 수 있음.
glucose, age, bmi는 numerical data로 값이 클수록 붉은색의 원이고, 작을수록 푸른색임.
- 세 feature 모두 큰 값일수록 positive인 확률값을 결과로 나오도록 기여함이 표시됨.
- 단, glucose가 가장 큰 영향을 미치며, age는 그보다 작은 영향을 보임.
- bmi는 방향성은 보이나 영향력은 이 둘에 못 미침.(폭이 매 적음)
회색으로 표시된 smoking과 region, sex는 categorical data 임.
- smoking 중 일부 class (현재 흡연을 나타내는 current)가 큰 영향을 주기 때문에 positive에 일부 큰 범위에 원이 존재.
- sex는 거의 영향을 주지 않으므로 매우 작은 범위의 기여도륵 보임

위의 summary plot과 water plot에 대한 mean absolute SHAP값의 table은 다음과 같음:

   feature  mean_abs_shap
2  glucose       0.129659
0      age       0.102015
4  smoking       0.048772
5   region       0.029500
1      bmi       0.028513
3      sex       0.009546

같이보면 좋은 자료

https://gist.github.com/ds31x/49096c1f1726149206a0b503adb38d57

xai_shap.ipynb

xai_shap.ipynb. GitHub Gist: instantly share code, notes, and snippets.

gist.github.com

airpod 분실... 키링의 모든 키들도 같이...

dsaint31x — Mon, 9 Mar 2026 21:43:28 +0900

에어팟을 잃어버림...

케이스 째로...

키링의 키들도 같이...

ㅠㅠ

ULMFiT : Transfer Learning for NLP

dsaint31x — Fri, 16 Jan 2026 15:53:35 +0900

Examples of three stages of ULMFiT training: (a) -training on general domain information to capture the general features of the languages used in environmental policymaking. (b) -a structure for performing fine-tuning on target task data using discriminative-based methods supported by slanted triangular learning algorithms. (c) -unfreezing operation to adapt the high-level representation of the responses while preserving the lower-level representations (Howard, J. 2018).

위 그림의 원본은 https://www.researchgate.net/figure/Examples-of-three-stages-of-ULMFiT-training-a-training-on-general-domain-information_fig2_384502200 임.

Averaged Stochastic Gradient Descent Weight-Dropped 3-Layer LSTM (AWD 3-Layer LSTM) 의 구조를 사용.

상단의 learning rate에 대한 그래프들이 좌/우로 있는데,

왼쪽은 layerindex $l$이 증가(downstream layer, topper layer, 출력에 가까움)할수록 학습률이 큼(Discrimitive Learning Rate)을 의미하고
오른쪽은 학습이 진행($t$가 증가)될수록 학습률이 초기엔 증가하다 뒤로가면 감소(slanted triangular learning alogrithm)를 의미.

Layer 의 명암 그라디에션은 gradual unfreezing을 의미함 (백색의 layer들은 첨부터 freeze되지 않고 학습됨).

ULMFiT 란?

ULMFiT (Universal Language Model Fine-tuning for Text Classification)은
자연어 처리(Natural Language Processing) 분야에서
전이학습(Transfer Learning)이 실질적으로 효과적임을 처음으로 명확히 입증한 연구.

ULMFiT은 구조가 아니라 학습 전략의 전환을 통해
현대 자연어 처리 모델의 기반을 마련한 연구이다.

Universal Language Model Fine-tuning for Text Classification, Jeremy Howard, Sebastian Ruder, 2018

Universal Language Model Fine-tuning for Text Classification

Inductive transfer learning has greatly impacted computer vision, but existing approaches in NLP still require task-specific modifications and training from scratch. We propose Universal Language Model Fine-tuning (ULMFiT), an effective transfer learning m

arxiv.org

이후 등장하는 Transformer 계열 모델의 학습 패러다임에 중요한 영향을 미침.

ULMFiT의 주요 결과만 요약하면 다음과 같음:

100개의 labeled example만 사용한 경우
- IMDb: scratch training의 약 1,000개 labeled example 수준
- AG News: scratch training의 약 2,000개 labeled example 수준
100개의 labeled example + unlabeled target-domain text를 LM fine-tuning에 추가 사용한 경우
- IMDb: scratch training의 약 10,000개 labeled example 수준
- AG News: scratch training의 약 5,000개 labeled example 수준

ULMFiT은

적은 labeled data만으로도 훨씬 많은 labeled data를 사용한 scratch training과 유사한 성능을 보였으며,
unlabeled target-domain text를 LM fine-tuning에 활용하면 그 효과가 더 커졌음.

ULMFiT의 기본 개념

ULMFiT은

대규모 말뭉치(corpus)로
사전학습(pretraining)된 언어모델(Language Model)을 기반으로,
새로운 문제에 맞게 단계적으로 미세조정(fine-tuning)하는 방법임.

이는 이미지 처리 분야에서

ImageNet으로 사전학습된 합성곱 신경망(Convolutional Neural Network)을
새로운 분류 문제에 맞게 fine-tuning하는 방식과 개념적으로 동일하다.

이미지에서 transfer learning은 다음을 참고: https://dsaint31.me/mkdocs_site/ML/ch11_training/knowledge_transfer/

BME

Transfer Learning The application of skills, knowledge, and/or attitudes that were learned in one situation to another learning situation. (Perkins, 1992) 다른 학습 상황에 배운 기술, 지식 및/또는 태도를 적용하는 것. (퍼킨스, 1992

dsaint31.me

ULMFiT의 3단계 학습 구조

ULMFiT은 다음의 세 단계 학습 과정으로 구성됨:

일반 언어모델 사전학습 (그림 a. LM pre-training)
(General Language Model Pretraining)
도메인 특화 언어모델 미세조정 (그림 b. LM fine-tuning)
(Domain-specific Language Model Fine-tuning)
과제 특화 미세조정 (그림 c. Classifier fine-tuning)
(Task-specific Fine-tuning)

참고: Language Modeling의 정의

1,2 번 과정에서 사용되는 Language Modeling(언어 모델링)이란 다음과 같이 정의된다.

자연어(Natural Language)에서
단어(word) 또는 토큰(token)들의 순서(sequence)에 대해
해당 시퀀스가 나타날 확률(probability)을 모델링하는 과제(task)

이를 보다 구체적으로 표현하면,

이전까지 관측된 단어들이 주어졌을 때,
다음 단어가 등장할 확률을 예측하는 문제
라고 할 수 있다

1단계: General Language Model Pretraining

이 단계의 목적은 범용적인 언어 표현(Language Representation)을 학습하는 것임.

위키피디아(Wikipedia)와 같은 대규모 일반 텍스트 사용
문장의 다음 단어를 예측하는 언어모델 학습
문법(grammar), 의미(semantics), 문맥(context)을 포괄적으로 학습

이 단계에서는 다음과 같은 기법을 적용하지 않음.

Gradual Unfreezing (점진적 레이어 해제)
Discriminative Learning Rates (레이어별 차등 학습률)
Slanted Triangular Learning Rate (기울어진 삼각형 학습률 스케줄)

이는 보호해야 할 기존 지식이 없으며,
장기적이고 안정적인 표현 학습이 목적이기 때문임.

2단계: Domain-specific Language Model Fine-tuning

이 단계의 목적은
이미 학습된 언어모델을 특정 도메인(domain)의 언어 분포에 적응시키는 것임..

의료 문서, 리뷰 텍스트 등 도메인 특화 데이터 사용
여전히 “다음 단어 예측”이라는 동일한 언어모델 과제 유지
모델의 역할은 변하지 않음

이 단계에서는 다음 기법들이 선택적으로 사용될 수 있음.

Gradual Unfreezing (점진적 레이어 해제)
Discriminative Learning Rates (레이어별 차등 학습률)
Slanted Triangular Learning Rate (기울어진 삼각형 학습률 스케줄)

일반적으로는 낮은 학습률(learning rate)로 전체 모델을 미세조정하는 것만으로도 충분한 경우가 많음.

이 단계는 언어 지식을 새로 배우는 단계라기보다,
기존 지식의 분포를 특정 domain에 맞게 조정하는 단계로 이해할 수 있음.

3단계: Task-specific Fine-tuning

이 단계는 ULMFiT의 핵심 단계 임.

언어모델 위에 분류기(classifier)를 추가
감성 분류(sentiment classification), 문서 분류(document classification) 등 최종 과제 수행
데이터 수가 적고 과제가 변경됨

ULMFiT 를 설명할 때 Task로 classification이 사용되는 이유는 다음과 같음.

classification은
당시 자연어 처리에서 대표적인 downstream task였고
소량 데이터 환경에서의 성능 향상을 명확히 보여주기 쉬운 task임.
transfer learning의 효과를 직관적으로 비교 가능한 task이다 보니 많이 사용됨.
다른 task가 안되는 건 아님.

이 단계에서 pretraining으로 얻은 기존 언어 지식(language knowledge)이 손상될 위험이 커지며,
이를 방지하기 위해 ULMFiT은 다음의 세 가지 핵심 기법을 제안한다.

1. Gradual Unfreezing

(점진적 레이어 해제)

처음에는 classifier (=head)만 학습
이후 상위 레이어부터 순차적으로 학습 허용
마지막으로 하위 레이어까지 미세조정

이 방법은

언어의 기본 구조를 담당하는 하위 레이어를 보호하는 데 목적이 있다.

2. Discriminative Learning Rates

(레이어별 차등 학습률)

하위 레이어: 매우 작은 학습률
상위 레이어 및 분류기: 상대적으로 큰 학습률

이를 통해

기본적인 언어 표현은 유지하면서
과제에 필요한 표현만 빠르게 현재 데이터 셋에 적응시킴.

3. Slanted Triangular Learning Rate

(기울어진 삼각형 학습률 스케줄) : slanted 는 그래프 등에서 비대칭인 형태를 의미.

학습 초반: 학습률을 빠르게 증가
학습 후반: 학습률을 점진적으로 감소

이 스케줄은

초기 빠른 적응과
후반 안정적 수렴을 동시에 달성하기 위한 기법임.

$$\eta_t = \begin{cases} \eta_{\min} + \frac{t}{\text{cut_fraction} \cdot T} (\eta_{\max} - \eta_{\min}) & \text{if } t < \text{cut_fraction} \cdot T \\ \eta_{\min} + \frac{T - t}{(1 - \text{cut_fraction}) \cdot T} (\eta_{\max} - \eta_{\min}) & \text{otherwise} \end{cases}$$

$\eta_t$ : Learning rate at time, $t = \text{current_epoch} \times \text{batches_per_epoch} + \text{current_batch_index}$
$\eta_{\min}$ : Minimum learning rate. e.g. : $\frac{1}{32} \eta_{\max}$
$\eta_{\max}$ : Maximum learning rate. e.g. : 0.01
$T$ : 총 반복횟수 (Total number of iterations = # of epoch * iterations per batch )
- epochs = 10, training dataset size = 1000, batch size = 32 : $T=10\times \frac{1000}{32}\approx 313$
$\text{cut_fraction}$ : Fraction of iterations for increasing learning rate. e.g.: 0.1

ULMFiT과 Transformer 모델의 관계

Transformer 구조(Attention-based Architecture)가

2018년 자연어 처리의 중심으로 자리 잡기 시작하였고,
당시 대표적인 예가 BERT (Bidirectional Encoder Representations from Transformers), GPT-1 (Improving Language Understanding by Generative Pre-Training) 였음.

ULMFiT은 Transformer 구조를 제안하지는 않았으나,

사전학습(pretraining)과 미세조정(fine-tuning)을 통해
NLP에서 Knowledge transfer (=transfer leanring)이라는 학습 패러다임을 정립함.

이는 그대로 Transformer 계열 모델에 계승됨.

ULMFiT: 언어모델 사전학습 후 fine-tuning
BERT: Transformer 인코더 사전학습 후 fine-tuning
- 문장을 “읽고 이해”하기 위한 모델: 문장 전체를 양방향으로 이해하는 데 특화
- Encoder-only Transformer
GPT-1: Transformer 디코더 사전학습 후 fine-tuning
- 문장을 “한 단어씩 생성”하기 위한 모델: 이전 단어들을 바탕으로 다음 단어를 순차적으로 생성하는 데 특화
- Decoder-only Transformer

https://towardsdatascience.com/a-complete-guide-to-bert-with-code-9f87602e4a11/

실제로 Transformer 모델 성공의 기반은

Attention 과
ULMFiT
라고 애기하는 경우가 많음.

주의할 점:

ULMFiT은 순환 신경망(Recurrent Neural Network), 특히 LSTM 기반 으로 시작됨.
Transformer는 자기주의(Self-Attention) 기반 구조
Transformer는 LSTM 에 비해 보다 구조적으로 안정적이어서
ULMFiT에서 제안한 세부 fine-tuning 기법을 단순화하여 사용

ULMFit 은 “대규모 사전학습 모델을 downstream task에 맞게 조정한다”는 핵심 사고방식 을 자연어 처리 모델 훈련에 적용시킴.

https://dsaint31.me/mkdocs_site/ML/ch16_RNN/RNN_intro

BME

Recurrent Neural Network (순환신경망, RNN) time series data와 같은 sequential data를 다루는데 적합한 ANN. feedback connection을 가짐. 때문에 weight를 구분하여 가지는 layer들이 쌓이기도 하지만, feedback connection에

dsaint31.me

ULMFiT 논문에서 평가한 6가지 text classification task/dataset

원 benchmark 출처: Zhang et al. (2015), Character-level Convolutional Networks for Text Classification

Internet Movie Database (IMDb)
- movie review에 대한 binary sentiment classification dataset임.
- 사용자가 작성한 영화 리뷰를 입력으로 받아 해당 리뷰가 positive인지 negative인지 분류함.
- ULMFiT에서 사용한 것은 Stanford의 Large Movie Review Dataset으로,
  25,000개의 training review와 25,000개의 test review로 구성됨.
- 비교적 긴 review가 많아 긴 문맥을 처리하는 language model의 성능을 평가하는 데 적합함.
- 공식 dataset URL: Stanford Large Movie Review Dataset
Text REtrieval Conference Question Classification (TREC-6)
- 자연어 질문을 6개의 coarse question type으로 분류하는 dataset임.
- 예를 들어 “Who invented the telephone?”과 같은 질문이 사람(HUM), 장소(LOC), 숫자(NUM), 설명(DESC) 등 어떤 종류의 답을 요구하는 질문인지 분류함.
- Xin Li와 Dan Roth의 question classification 연구에서 사용된 dataset으로,
  training set과 TREC test question이 공개되어 있음.
- 짧은 문장의 의미를 파악하여 질문의 semantic type을 구분하는 능력을 평가함.
- 공식 dataset URL: Cognitive Computation Group — Question Classification Data
DBpedia Ontology Classification Dataset (DBpedia)
- DBpedia는 Database + Wikipedia에서 만들어진 명칭으로,
  Wikipedia의 structured information을 추출하여 구축한 knowledge base임.
- Wikipedia/DBpedia의 entity description을 입력으로 받아 entity가 어떤 semantic category에 속하는지 분류함.
- ULMFiT에서 사용한 benchmark에서는 14개 class를 사용함.
  - Company
  - Educational Institution
  - Artist
  - Athlete
  - Office Holder
  - Mean of Transportation
  - Building
  - Natural Place
  - Village
  - Animal
  - Plant
  - Album
  - Film
  - Written Work
- 즉 단순한 topic classification이라기보다
  entity description으로부터 ontology class를 예측하는 classification task임.
- DBpedia 자체의 ontology는 Wikipedia infobox를 기반으로 구축된 cross-domain ontology임.
- DBpedia 공식 URL: DBpedia Ontology
  - DBpedia 자체의 공식 site와 14-class text classification benchmark의 원출처는 구분해서 볼 것.
Yelp Review Polarity Dataset (Yelp-bi)
- Yelp는 acronym이 아니라 Yelp라는 회사 및 review platform의 고유명사임.
  - Yelp는 음식점, 상점, 각종 서비스 업체 등에 대해 사용자가 review와 star rating을 남기는 online review platform임.
  - Yelp-bi의 bi는 binary를 의미함.
- Yelp review text를 입력으로 받아 sentiment를 positive / negative 두 class로 분류함.
- ULMFiT에서 사용한 benchmark는 Zhang et al. (2015)이 2015 Yelp Dataset Challenge data로부터 만든 classification dataset임.
  - 따라서 IMDb와 같은 binary sentiment classification이지만,
  - 영화가 아니라 실제 상점·서비스에 대한 review를 대상으로 함.
- Yelp 공식 data URL: Yelp Open Dataset
Yelp Review Full Dataset (Yelp-full)
- 역시 Yelp review data에서 만들어진 dataset임.
- full은 positive/negative 두 class로 단순화하지 않고 원래의 rating 수준 전체를 사용한다는 의미임.
- review text를 입력으로 받아 해당 review의 평가가 1, 2, 3, 4, 5 star 중 어느 class에 해당하는지 예측함.
- 즉 5-class sentiment/rating classification task임.
- Yelp-bi보다 sentiment의 정도를 더 세밀하게 구분해야 하므로 classification task가 더 어려움.
- 이 benchmark 역시 Zhang et al. (2015)이 Yelp Dataset Challenge의 review와 star rating으로부터 구성함.
- Yelp 공식 data URL: Yelp Open Dataset

참고로 ULMFiT 논문 자체의 공식 URL은 다음임.

Howard & Ruder (2018), Universal Language Model Fine-tuning for Text Classification

같이 보면 좋은 자료

https://ds31x.github.io/wiki/hf_transformer/hf_post_transformer/

Language Model Taxonomy - Pretraining Paradigms and Encoder-Decoder Architectures

ds31x.github.io

감기...

dsaint31x — Fri, 2 Jan 2026 09:09:37 +0900

가족 구성원들이 돌아가면서...

막내는 1월1일을 경계로 독감 A,B 모두 획득하시는 쾌거(??)를...

휴일에 약먹고 자는 건 ㅠㅠ

자고나니 1월 2일이네... ㅠㅠ

관용과 직무유기의 경계는...

dsaint31x — Mon, 8 Dec 2025 20:39:53 +0900

개인적으로 실적지상주의를 정말 두려워하는터라...

능력없이 은혜로 사는 빚진 자임을 항상 느끼고 있어서,

최선을 다한 경우엔 최대한 고려를 하려고 하는데...

서있라고 하면 앉고 싶고

앉으면 눕고 싶고...

누으면 자고 싶은게 사람이라고...

정말 어디까지 막 나갈 수 있는지를 경쟁적으로 보여주는 한 학기였음...

여기서 더 편의를 봐주는 건 직무유기 같은데... ㅠㅠ

==;; 잔소리를 해봐야 그걸 들어야 하는 사람들은 아예 없는 경우...

몸도 아픈데... 정신적으로도 힘들다.

Shifted Impulse $\delta(t-a)$의 Laplace Transform

dsaint31x — Wed, 3 Dec 2025 14:40:27 +0900

0. Laplace Transform의 정의

$$\mathcal{L}[x(t)]
= \int_{0^-}^{\infty} x(t) e^{-st} dt$$

1. 변환할 함수인 shifted impulse 대입

$$x(t) = \delta(t-a)$$

대입하면

$$X(s)=\int_{0^-}^{\infty} \delta(t-a) e^{-st} dt$$

$\delta$의 위치가 적분 범위 안에 있는지 확인해야 적분의 값이 구해지는데,

Laplace 적분의 구간은 다음과 같음:
$$0^- \le t < \infty$$

즉, $a>0$이면 $\delta(t−a)$는 이 구간 안에 존재하므로, 적분값은 0이 되지 않음.

2. $\delta$의 sifting 성질을 적용하기 위한 준비

Dirac delta의 기본 성질: sifting property (주의: shift가 아닌 sift임.)

$$\int_{-\infty}^{\infty} \delta(t-a) f(t) dt = f(a)$$

2023.08.21 - [.../Signals and Systems] - [SS] Properties of Impulse Function

[SS] Properties of Impulse Function

Impulse function (or Dirac delta function)은 이상적으로, 오직 한 점에서만 무한대의 값을 가지고,나머지에서는 0의 값을 가지며,적분시 면적인 1이 되는 함수 다른 function을 분석하거나, system의 response를

dsaint31.tistory.com

이 성질을 사용하기 위해서는 integrand를 다음 형태로 만들어야 함:

$$\delta(t-a) f(t)$$

그러므로 앞서의 적분에서 $f(t)$ 역할을 하는 함수는 명시적으로 다음과 같음:

$$\boxed{f(t)= e^{-st}}$$

이를 통해 다음이 성립.

$$\delta(t-a) e^{-st} = \delta(t-a) f(t)$$

이는 sifting 성질을 적용할 수 있게 해줌.

3. Sifting property를 Laplace 적분 구간에 맞게 적용

적분 구간이 $[0^-,\infty)$이고 $a>0$이므로,

$$\int_{0^-}^{\infty} \delta(t-a) f(t) dt = f(a)$$

따라서,

$$X(s)=f(a)=e^{-sa}$$

4. 최종 결과

$$\mathcal{L}[\delta(t-a)]=e^{-as}$$

요약

Laplace integrand는 $\delta(t-a)e^{-st}$ 형태
$\delta$의 sifting property를 사용: $\delta(t−a) f(t)$ 로 integrand를 바라보기
Laplace transform 에선 $f(t)=e^{-st}$ 임.
따라서 $X(s)= f(a) = e^{-sa}$ 가 얻어짐.

같이보면 좋은 자료들

2022.10.24 - [.../Signals and Systems] - [SS] Laplace Transform Table

[SS] Laplace Transform Table

SignalLaplace TransformRoC...1$u(t)$$\frac{1}{s}$$\text{Re}(s)>0$참고2$u(t)-u(t-a)$$\frac{1-e^{-as}}{s}$$\text{Re}(s)>0$참고3$\delta(t)$1all complex plane 4$\delta(t-a)$$e^{-as}$all complex plane 5$e^{-at}u(t)$$\frac{1}{s+a}$$\text{Re}(s)>-a$참고6$\c

dsaint31.tistory.com

From Laplace Transform To z-Transform

dsaint31x — Wed, 3 Dec 2025 13:43:01 +0900

z-Transform 은 Laplace Transform의 Discrete Version임

이 글은 이를 유도해본다.

1. 연속시간 Laplace Transform의 기본 구조

연속시간 신호 $x(t)$에 대해 Lapalce Transform은 다음과 같음.

$$X(s) = \int_{0}^{\infty} x(t) e^{-st} dt$$

복소지수항 $e^{-st}$ 을 사용함.

2. 샘플링을 통한 이산신호 표현

샘플링 주기 $T$에서 얻는 이산신호는 $x[n] = x(nT)$ 로 정의됨

이산신호를 연속시간에서 표현하면 shifted impulse들의 가중합 이 됨.

$$x_s(t) = \sum_{n=-\infty}^{\infty} x[n]\delta(t-nT)$$

3. 샘플링된 신호의 Laplace Transform 계산

Laplace Transform에 $x_s(t)$를 대입하면 다음과 같음:

$$X_s(s) = \sum_{n=-\infty}^{\infty} x[n] e^{-snT}$$

이 결과는 shift된 delta가 Laplace 영역에서 지수항으로 변환됨을 직접적으로 반영하는 구조임

4. 변수 치환을 통한 z-transform 도출

$z = e^{sT}$ 라는 치환을 적용하면

$$e^{-snT} = z^{-n}$$

이 얻어지는 구조임

이를 통해, 다음이 얻어짐.

$$X(z)=\sum_{n=-\infty}^{\infty} x[n] z^{-n}$$

이 수식이 바로 Z-transform의 정의임

5. Shifted impulse의 역할

이산시간에서 임의 신호는 다음과 같음:

$$x[n]=\sum_{k=-\infty}^{\infty} x[k]\delta[n-k]$$

z-transform 적용 시 다음과 같음:

$$\delta[n-k] \rightarrow z^{-k}$$

이는 연속시간에서 다음에 형태에 직접적으로 대응되는 것으로 이해가능함.

$$\delta(t-a) \rightarrow e^{-as}$$

6. 요약

z-transform은 “샘플링된 신호에 Laplace Transform을 적용한 뒤 (z=e^{sT})로 변수 치환한 결과” 로도 볼 수 있음.
z-transform은 Laplace Transform의 이산(discrete-time) 버전에 해당하는 구조임
시간 이동이 지수항으로 변환되는 동일한 원리가 연속시간(Laplace) 과 이산시간(z-transform) 모두에서 유지되며 이와 치환이 같이 적용된 결과가 z-Transform임.

같이 보면 좋은 자료들

2022.11.30 - [.../Signals and Systems] - [SS] z-Transform: Introduction

[SS] z-Transform: Introduction

1. z-Transform이란?Laplace Transform의 Discrete Version (or Generalization of DTFT)Continuous Time Signal과 System에서 Laplace Transform의 역할을Discrete Time Signal과 Discrete Time System에서 담당.수식적으로 보면, DTFT (Discrete Time

dsaint31.tistory.com

Overfitting (과적합)

dsaint31x — Thu, 20 Nov 2025 22:02:34 +0900

Overfit이란

ML에서 모델이 주어진 훈련데이터에 너무 과하게 적응(adapt) 하여
Training dataset에서는 매우 좋은 성능을 보이지만,
Unseen data (= validation/test set)에서는 성능이 급격히 떨어지는 현상 을 의미함.

Model이 Training dataset에 지나치게 맞추어져서 generalization performance가 떨어지는 경우임.

Bias–Variance 관점

Overfit의 경우,

Training dataset에서는 performance measure가 매우 좋기 때문에 bias가 매우 낮고,
대신 variance가 매우 커지는 특징을 보임.

즉,

bias 낮음 = training 성능은 좋다
variance 높음 = 데이터 샘플이 조금만 바뀌어도 예측 결과가 크게 요동(불안정)

training dataset의 노이즈와 우연한 패턴까지 학습했기 때문에 발생.

2025.10.30 - [Programming/ML] - Bias-Variance Tradeoff

Bias-Variance Tradeoff

Supervised Learning의 궁극적인 목표학습에 사용된 데이터 뿐만 아니라,한 번도 보지 못한 새로운 데이터에 대해서도 정확한 예측을 수행하는 능력, 즉일반화 성능(generalization performance)을 높이는 것

dsaint31.tistory.com

언제 발생하는가

Overfitting은 다음과 같은 조건에서 주로 발생함:

데이터의 특징(feature) 수에 비해 training sample 수가 너무 적은 경우
모델의 가설공간이 지나치게 크거나 복잡한 경우 (training dataset에 대해)
- parameters 개수가 과도하게 많음
- 지나치게 복잡한 모델 (capacitance가 높은 모델)을 사용한 경우
Regularization이 너무 약하거나 없을 때
- weights의 DoF(Degree of Freedom, 자유도)가 지나치게 커짐
데이터에 노이즈가 많고, 모델이 이를 그대로 학습한 경우

Overfitting vs. Underfitting

다음 그림은 단순한 패턴을 가진 데이터에 대해 매우 복잡한 모델(고차 다항식/과도한 capacity)을 사용하여
training set에 완벽히 맞추려다 over-fitting이 발생한 예를 나타냄.

2023.09.21 - [Programming/ML] - [ML] Underfit

[ML] Underfit

Underfit이란ML 모델이 주어진 훈련데이터를 제대로 학습하지 못하여 Training dataset에서도 나쁜 performance를 보이는 경우를 가르킴. Underfit의 경우 훈련데이터에서도 performance measure의 결과가 매우

dsaint31.tistory.com

해결방안

Overfitting을 해결하기 위한 방법은 간단히 말하면 다음과 같음.

모델의 복잡도를 감소시킴(=가설공간 축소).
- parameters의 갯수 감소
- ANN의 경우, depth/width 줄이기
- 모델 capacity를 데이터 양에 적절한 수준으로 감소시킴.
Regularization을 강화.
- L2/L1 penalty 증가
- Dropout, BatchNorm 사용
- weight decay 적용
Training data의 양을 늘리기. **
- 실제 데이터 확보
- 또는 Data augmentation 수행
Feature selection/feature extraction을 통해 noise feature 제거
- PCA 등으로 차원 축소
- domain-specific feature engineering
Early stopping 적용
- validation loss가 증가하기 시작하면 학습 중단

주요사항.

Underfit과 달리 Overfit은 데이터 양 증가 만으로도 해결 가능 하며,
Regularization과 모델 단순화를 통해 쉽게 제어할 수 있음.

Deep Learning 의 경우, 모델이 매우 복잡하기 때문에 대부분이 over-fitting을 해결하는 과정을 거침.

2024.10.27 - [Programming/ML] - [ML] Regularization

[ML] Regularization

dsaint31.tistory.com

Maximum-Likelihood Expectation-Maximization

dsaint31x — Mon, 10 Nov 2025 15:01:04 +0900

https://www.openaccessjournals.com/articles/image-reconstruction-for-petct-scanners-past-achievements-and-future-challenges-11017.html

PET에서의 MLEM은 Poisson 통계 모델에서의 MLE를 EM 알고리즘으로 푸는 것임.

FBP에 비해, 느리지만 Poisson noise 억제에 강함
OSEM, MAP-EM 등으로 속도 및 성능 개선 가능

2023.10.25 - [.../Math] - [Math] Poisson Distribution (포아송분포)

[Math] Poisson Distribution (포아송분포)

Poisson Distribution이란?아주 가끔 일어나는 사건(trial)에 대한 확률 분포 : 방사선 검출에 주로 사용되는 확률분포라 의료영상에서는 매우 많이 사용됨. 몇가지 예를 들면 다음과 같음:전체 인구수

dsaint31.tistory.com

Poisson Likelihood 모델 설정

각 검출기 $i$에서의 측정값 $y_i$ 는 포아송 분포를 따른다고 가정:

$$y_i \sim \text{Poisson} \left( \hat{y}_i = \sum_j p_{ij} \lambda_j \right)$$

이때 전체 log-likelihood 함수는 다음과 같음:

$$\log \mathcal{L}(\boldsymbol{\lambda}) = \sum_i \left[ y_i \log \left( \sum_j p_{ij} \lambda_j \right) - \left( \sum_j p_{ij} \lambda_j \right) - \log y_i! \right]$$

참고로 $\log y_i!$는 $\lambda_j$ 에 독립이므로 생략 가능함.

이를 통해 다음의 miximization problem으로 정의할 수 있음:

$$\underset{\boldsymbol{\lambda} \geq 0}{\text{maximize}} \quad Q(\boldsymbol{\lambda}) = \sum_i \left[ y_i \log \left( \sum_j p_{ij} \lambda_j \right) - \sum_j p_{ij} \lambda_j \right]$$

이는 utility function이므로 최대화를 수행.

EM 방식으로는 다음 surrogate function을 최대화!: 이 과정은 Jensen's inequality에 기반

$$\lambda_j^{k+1} = \lambda_j^k \cdot \frac{1}{\sum_i p_{ij}} \sum_i p_{ij} \cdot \left( \frac{y_i}{\sum_{j'} p_{ij'} \lambda_{j'}^k} \right)$$

요약하면 다음과 같음:

objective function : $\log \mathcal{L}(\boldsymbol{\lambda})$
최적화 방법: Expectation-Maximization (EM)
solution update equation: multiplicative update (양수 유지 보장)
정규화 항: $\sum_i p_{ij}$ - sensitivity normalization

2022.06.02 - [.../Math] - [ML] Likelihood (우도, 기대값)

[ML] Likelihood (우도, 기대값)

Likelihood (우도) : 더보기likelihood는 probability처럼 가능성을 나타낸다는 비슷한 측면도 있으나 다음과 같은 차이가 있음.probability처럼 likelihood는 상대적 비교는 가능 (즉, likelihood가 클수록 해당 even

dsaint31.tistory.com

Mimum Likehood Expection Miximization 수식 **

$$
\lambda_j^{k+1} = \frac{\lambda_j^k}{\sum_i p_{ij}} \sum_i p_{ij} \cdot \left( \frac{y_i}{\sum_{j'} p_{ij'} \lambda_{j'}^k} \right)
$$

where,

$\lambda_j^k$ : $k$번째 iteration(반복)에서 픽셀 $j$에 대한 이미지 추정값
$y_i$ : $i$번째 검출기에서의 측정값 (projection bin data, sinogram)
$p_{ij}$ : system matrix(시스템 행렬)의 요소. 픽셀 $j$가 검출기 $i$에 기여하는 정도
$\sum_{j'} p_{ij'} \lambda_{j'}^k $ : $i$ 검출기에 대한 예측값 - $\hat{y}_i$

MLEM - Iterative Reconstruction

위의 수식은 MLEM 알고리즘의 업데이트 식임:

1.예측 측정값 계산 (forward projection):

$$\hat{y}_i = \sum_{j'} p_{ij'} \lambda_{j'}^k$$

2.실제와 예측의 비율 계산:

$$\frac{y_i}{\hat{y}_i}$$

3.백프로젝션 수행:

$$\sum_i p_{ij} \cdot \left( \frac{y_i}{\hat{y}_i} \right)$$

4.정규화 후 업데이트:
$$\lambda_j^{k+1} = \lambda_j^k \cdot \frac{1}{\sum_i p_{ij}} \sum_i p_{ij} \cdot \left( \frac{y_i}{\hat{y}_i} \right)$$

https://gist.github.com/dsaint31x/5a46553d69055b93dcacc249c043bef5

pet_mlem_simul.ipynb

pet_mlem_simul.ipynb. GitHub Gist: instantly share code, notes, and snippets.

gist.github.com

Note:

Poisson likelihood 기반임! (측정치는 counter의 결과이므로 항상 양의 정수로)
분자: 측정값과 예측값의 비율
분모: 픽셀별 시스템 응답의 총합으로 정규화
음수 없음, 수렴 보장 (단, 느림)
forward / backward projection 반복 구조

같이보면 좋은 자료

2025.09.01 - [정리필요./PET, MRI and so on.] - Radon Transform and Inverse Radon Transform-FBP

Radon Transform and Inverse Radon Transform-FBP

정의Radon Transform(라돈 변환)은n차원 함수 $f(\textbf{x})$를 : ($\textbf{x}$는 n차원 vector임)$(n-1)$차원 hyperplane(초평면)에 대해projection integral(투영적분)한 값을 나타내는 transform(변환)이를 2D와 3D의 경우

dsaint31.tistory.com

Scintillator (섬광체)

dsaint31x — Mon, 10 Nov 2025 14:17:04 +0900

scintillator는 방사선이 물질과 상호작용할 때 에너지를 흡수하고 빛(섬광, 주로 visible phothons)을 방출하는 물질을 가리킴.

방출된 빛은 광센서(photo sensor)에 의해 전기 신호로 변환되어 방사선 검출에 사용
전자가 여기(excited) 된 이후, 기저상태로 복귀 시 가시광선 또는 근자외선 방출

주로 뒤에 광센서가 놓임:

1. 용어 구분

섬광체(scintillator): 방사선을 감지하는 기능에 기반한 용어
크리스털(crystal): 물질의 구조적 기반한 용어로 단결정 구조를 가리킴.

많은 scintillator 가 크리스털이지만, 모든 크리스털이 섬광체인 것은 아님.

2022.04.12 - [정리필요./의료기기의 이해] - Transducer

Transducer

DefinitionA transducer is a device that transforms a signal from one energy form to another energy form. 즉, 에너지의 형태를 변환시키는 장치 를 가리켜 Transducer라고 한다. 넓게 이야기하는 경우, 다루기 쉬운 형태로 신

dsaint31.tistory.com

2. 이상적인 scintillator 의 특성 : 방사선 검출기(or counter)

높은 정지능(stopping power)
- 높을수록 고에너지 광자 흡수 능력이 우수.
- 밀도·원자번호에 비례
- BGO, LSO, LYSO, GSO은 정지능이 높아 PET용으로 적합
짧은 감쇠시간(decay time)
- 빠른 빛 방출로 신속한 신호 처리 가능: 짧은 dead time.
- counter에서 사용될 경우 매우 중요함.
- PET처럼 높은 coincidence 분해능이 요구되는 경우 중요 (LSO, LYSO, GSO가 선호)
높은 광자 산출량(light yield)
- 단위 MeV당 방출되는 광자의 개수로 측정됨.
- 방출 광량이 많을수록 높은 sensitivity를 달성하기 쉬움.
- 높을수록 높은 energy resoluton을 달성하기 쉬움.
  - CsI(Tl)이 매우 높으며(최대 65,000 ph/MeV), BGO는 낮은 것으로 유명함 (~8,000 ph/MeV)
우수한 에너지 분해능(energy resolution)
- 서로 다른 에너지의 방사선 구분 가능
기계적·화학적 안정성
- 온도·습기·충격에 강할수록 장기적으로 잘 동작하는 검출기를 만들기 쉬움.
- 안정적인 성능 확보
- NaI(Tl)은 습기에 매우 약함: 단, 제작이 쉽고 저가라 많이 사용됨.
- LSO/LYSO는 내구성과 화학적 안정성이 매우 우수함.

※ 실제 섬광체는 위의 특성 간 trade-off 존재: 용도에 맞춰 선택 필요

3. 섬광체 크기와 성능의 관계

scintillator의 크기(area)를 증가시키는 경우 검출기간의 간격이 증가(=pixel의 크기 증가)하여 해상도가 감소하나 정지능은 향상됨.
scintillator의 두께(thickness)를 증가시키는 경우 stopping power는 증가하나 산란·parallax error가 증가하여 해상도가 감소함.

sensitivity와 spatial resolution간의 균형을 고려한 선택 필요.

PET, Molecular Imaging and Its Biological Applications, Michael E. Phelps

의료 영상 기기별 섬광체 크기 비교 (예)

구분	사용 방사선	일반적 크기 (mm³)	특징
투영방사선촬영 / CT	X선 (낮은 에너지)	0.5–2 × 0.5–2 × 3–5	해상도·정지능 균형 유지
감마카메라 / SPECT	감마선	3–5 × 3–5 × 6–10	감마선 감지 효율 중점
PET	511 keV 소멸광자	2–4 × 2–4 × 10–20	콜리메이터 없이 해상도 확보, 정지능 한계 존재

4. 주요 scintillator

Scintillator	주요용도	밀도 (g/cm³)	감쇠시간 (ns)	광자산출량 (ph/MeV)	주요 장점	주요 단점
CsI(Tl)	CT	4.51	1,000	54k-65k	높은 광량, 적절한 정지능	감쇠시간이 매우 김.
GOS	CT	7.32	600	45k	고밀도, 적절한 감쇠시간	광량 낮음
NaI(Tl)	SPECT	3.67	230	38k–40k	높은 광량, 짧은 감쇠시간	습기 취약, 낮은 정지능
BGO	PET	7.13	300	8200	높은 정지능	낮은 광량
LSO	PET	7.4	40	25k–32k	빠른 감쇠, 높은 광량	고비용
LYSO	PET	7.1	40	25k–32k	LSO와 유사, 고감도	고비용
GSO	PET	6.71	60	8k–10k	적절한 특성	정지능 낮음

CsI(Tl)
- X-ray용 CT에서 흔히 사용
- 긴 감쇠시간(~1 µs)과 높은 광자산출량
Gd₂O₂S (GOS)
- CT용 분말형 섬광체
- 상대적으로 낮은 광자산출량(45,000 ph/MeV)
NaI(Tl)
- 감마카메라/SPECT 에서 널리 사용됨
- 감쇠시간 230 ns 수준
BGO
- 높은 밀도(7.13 g/cm³)로 높은 정지능으로 유명하나
- 낮은 광자산출량(~8,000)이 단점.
- PET 초창기 표준 scitillator로 사용됨.
LSO (Lu₂SiO₅:Ce)
- BGO의 느린 decay time을 개선: 빠른 감쇠(40 ns)
- 동시에 높은 밀도와 밝기가 장점이나 고비용임.
LYSO (Lu₁.₈Y₀.₂SiO₅:Ce)
- LSO 와 유사한 성능
- LYSO = LSO + Y 도핑.
GSO (Gd₂SiO₅:Ce)
- PET에 사용, BGO보다 빠르지만 정지능은 낮음

5. 같이보면 좋은 자료들

5-3장 라돈변환 기반 의료영상 - 06. 방사선 검출 기술과 의료영상에서의 응용

https://www.koonja.co.kr/products/products_view.html?cd=CD0016&no=24613&refer=%2Fproducts%2Fsearch.html%3Fsearchkey%3D%EC%9D%98%EA%B3%B5%ED%95%99%EA%B0%9C%EB%A1%A0

군자출판사

군자출판사의 독자들이 대한민국 최고의 군자출판사의 역사를 이끌어 갑니다.

koonja.co.kr

https://dsaint31.tistory.com/306

[Physics] Interaction : 방사선과 물질의 상호작용.

방사선에 대해 인체 구성물질의 상호작용은 간단히 생각하면 물(water)과의 상호작용과 매우 유사함 (특히, soft tissue의 경우.) 다음 표는 대표적인 상호작용들이 방사선의 에너지에 따라 물(water)

dsaint31.tistory.com

LASSO Regression

dsaint31x — Sat, 8 Nov 2025 15:14:50 +0900

명칭의 유래

LASSO: Least Absolute Shrinkage and Selection Operator 의 약자
이름에서 알 수 있듯이,
- 절대값(absolute value) 기반의
- shrinkage(축소)와
- feature selection(특성 선택)을 동시에 수행하는 회귀 기법
“Shrinkage”는 weight의 크기를 줄이는 정칙화 효과,
“Selection”은 일부 weight를 정확히 0으로 만들어 feature를 제거하는 효과를 의미함

역사

Tibshirani (1996) 에 의해 제안됨
Ridge Regression이 모든 weight를 균일하게 줄이는 것과 달리,
Lasso는 일부 weight를 0으로 만들어 희소성(sparsity) 을 유도
주로 convex optimization 에서 자주 사용됨.
L1 norm을 사용한 penalty term을 포함하는 Lasso는 Tikhonov regularization의 변형으로 볼 수 있으나, penalty 함수의 형태가 절댓값으로 바뀐 점이 결정적 차이점을 가짐.

참고: L1 vs L2 정칙화의 특성

구분	L1 정칙화 (Lasso)	L2 정칙화 (Ridge)
Penalty	$\lambda \sum w_j $	$\lambda \sum w_j^2$
결과	Sparse solution (일부 0)	Smooth shrinkage (모두 작아짐)
Feature selection	가능	불가능
해석 용이성	높음	낮음
안정성	낮음 (상관특성 간 불안정)	높음 (multicollinearity 완화)

Lasso Regression (L1 정화)

Objective Function

$$L = \displaystyle \frac{1}{m}\sum_{i=1}^{m} (y_i - \hat{y}_i)^2 + \lambda \sum_{j=1}^{n} |w_j|$$

$m$ : sample 수
$n$ : feature 수
$\lambda$ : regularization 강도 (hyperparameter)

Gradient (subgradient)

$$\frac{\partial L}{\partial w_j} = -\frac{2}{m}\sum_{i=1}^{m}(y_i - \hat{y}_i)x_{ij} + \lambda \cdot \text{sign}(w_j)$$

단, $w_j = 0$ 인 구간에서는 미분 불가능하므로 subgradient 사용.

2025.11.02 - [Programming/ML] - Subgradient 와 Gradient Descent

Subgradient 와 Gradient Descent

Prerequistes모델 학습의 목표는손실 함수 $L(\boldsymbol{\omega}, \textbf{X})$를 최소화하는파라미터 $\boldsymbol{\omega}$를 찾는 것임.이때 가장 기본적인 최적화 방법은 Gradient Descent(경사 하강법)임:$$\boxed{\bo

dsaint31.tistory.com

특징

일부 $w_j$가 정확히 0이 되어 불필요한 특성을 제거
모델 단순화 및 해석 용이성 증가
그러나 feature 간 강한 상관(multicollinearity)이 존재할 때, feature selection이 불안정해질 수 있음

Ridge Regression (L2 정칙화)와의 비교

Ridge: 모든 weight를 작게 만드는 연속적 축소(continuous shrinkage)
Lasso: 일부 weight를 완전히 제거(sparse selection)
실제 모델링에서는 두 기법을 혼합한 Elastic Net이 자주 사용됨

$$
L = \frac{1}{m}\sum (y_i - \hat{y}_i)^2 + \lambda_1 \sum |w_j| + \lambda_2 \sum w_j^2
$$

기하학적 해석

L2 제약(Ridge): 원형(circle) => 모든 방향 동일한 제약
L1 제약(Lasso): 마름모(diamond) 형태
- Loss function의 contour와 마름모의 꼭짓점이 만나는 지점에서 해가 발생
- 꼭짓점에서 일부 ( $w_j = 0$ )이 되어 sparse solution 유도
이 차이로 인해,
- Ridge는 “모두 조금씩 줄이지만 0은 만들지 않음”,
- Lasso는 “일부를 완전히 0으로” 만드는 효과를 가짐

기타

Ridge 의 경우처럼, Regularization Term을 샘플 수로 나누는 처리가 보통 이루어지며, bias에 대해선 규제를 하지 않기도 함.

2025.11.06 - [Programming/ML] - Ridge Regression

Ridge Regression

dsaint31.tistory.com

요약

Lasso Regression은 L1 정칙화 기반 회귀모델
일부 weight를 0으로 만들어 feature selection 효과 제공
Ridge에 비해 해석 용이(고려할 feature의 갯수가 감소)하지만, 안정성은 다소 떨어짐
데이터 규모와 상관없는 일관된 ($\lambda$)를 위해 평균화 필요
bias는 규제하지 않음 (평행이동 불변성 유지)
- shift invariance
- translation invariance
- invariance to translation
Ridge와 Lasso의 중간형으로 Elastic Net이 실무에서 자주 사용됨

같이보면 좋은 자료들

2024.10.27 - [Programming/ML] - [ML] Regularization

[ML] Regularization

dsaint31.tistory.com

https://ds31x.tistory.com/352

[ML] Classic Regressor (Summary) - regression

DeepLearning 계열을 제외한 Regressor 모델들을 간단하게 정리함.https://gist.github.com/dsaint31x/1c9c4a27e1d841098a9fee345363fa59 ML_Regressor_Summary.ipynbML_Regressor_Summary.ipynb. GitHub Gist: instantly share code, notes, and snippets.g

ds31x.tistory.com

2025.11.06 - [Programming/ML] - Ridge Regression

Ridge Regression

dsaint31.tistory.com

2025.11.02 - [Programming/ML] - Subgradient 와 Gradient Descent

Subgradient 와 Gradient Descent

dsaint31.tistory.com

Ridge Regression

dsaint31x — Thu, 6 Nov 2025 11:55:53 +0900

https://medium.com/@vikasdod/demystifying-lasso-and-ridge-regression-key-differences-and-usage-61d1c4780412

명칭의 유래

Ridge: "산등성이" 또는 "융기"를 의미하는 영어 단어
L2-Regularization Term 추가 시 loss function의 contour가 융기된 형태로 변형되는 데에서 유래됨.

역사적 배경

Tikhonov regularization (1963)과 수학적으로 동일
개발 시기:
- 1943년: Andrey Tikhonov가 ***관측값이 조금 변했을 때 복원된 해가 크게 변하지 않는다*** 는 inverse mapping(역사상)의 안정성 문제를 다루면서 Tikhonov regularization의 이론적 출발점을 제시
- 1963년: Andrey Tikhonov가 ill-posed 문제 해결용 regularization(정규화로도 번역되나 개인적으론 정칙화를 선호) 방법 개발
- 1970년: Hoerl과 Kennard가 통계학 맥락에서 독립적으로 재발견
분야별 명칭:
- 수치해석: Tikhonov regularization
- 통계학/머신러닝: Ridge regression

[Math] ill-posed, well-posed, ill-conditioned, well-conditioned matrix (or problem)

"well-posed" matrix and "well-conditioned" matrix$A\textbf{x}=\textbf{b}$와 같은 Linear System (연립방정식)에서 system matrix $A$가 invertible하다면 해당 linear system(달리 말하면 연립방정식)이 well-posed라고 할 수 있다.하

dsaint31.tistory.com

참고: L1 vs L2 정칙화(정규화)의 특성

L-p Norm에서 p=1,2 인 경우가
주로 Regularization(정칙화)에 사용됨.

Normalization과 Regularization을 구분하기 위해
normalization은 정규화로, regularization은 정칙화로 사용하는 것을 선호하나
많은 경우 정규화로 사용되므로 문맥에 맞게 해석해야함.

Norm (노름)

Vector 및 matrix의 크기에 해당하는 양(magnitude) 을 구하는 연산 으로 사용됨. The higher the norm index ($p$값이 클 경우), the more it focuses on large values and neg...

bme808.blogspot.com

2024.10.02 - [Programming/ML] - [ML] Minkowski Distance (L-p Norm)

[ML] Minkowski Distance (L-p Norm)

Minkowski 거리는L-p Norm의 한 형태두 개의 점 사이의 distance(거리)를 일반화한 metric.distance의 개념은 다음 접은 글을 참고:더보기https://dsaint31.me/mkdocs_site/DIP/cv2/etc/dip_metrics/#distance-function-or-metric BME228

dsaint31.tistory.com

Ridge Regression (L2 정규화)

Object Function (loss): $L = \displaystyle \frac{1}{m}\sum_{i=1}^{m}(y_i - \hat{y}_i)^2 + \lambda\sum_{j=1}^{n}w_j^2$
- $m$: sample size
- $n$: number of features
특징: 모든 weight를 균일하게 작게 만듦
Gradient: $\frac{\partial L}{\partial w_j} = -\frac{2}{m}\sum_{i=1}^{m}(y_i - \hat{y}_i)x_{ij} + 2\lambda w_j$
결과: weight가 0에 가까워지지만 정확히 0이 되지 않음

Lasso Regression (L1 정규화)

Object Function (loss): $L = \displaystyle \frac{1}{m}\sum_{i=1}^{m}(y_i - \hat{y}_i)^2 + \lambda\sum_{j=1}^{n}|w_j|$
특징: 일부 weight를 정확히 0으로 만듦 (sparse solution)
Gradient: $\frac{\partial L}{\partial w_j} = -\frac{2}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)x_{ij} + \lambda \cdot \text{sign}(w_j)$
결과: feature selection 효과

기하학적 해석

L2 (Ridge):
- Regularization(제약) 영역이 원(circle)형: 모든 방향으로 균등한 패널티
- 모든 weight가 비슷한 크기로 축소됨
L1 (Lasso):
- Regularization(제약)이 다이아몬드형: 모서리에서 해를 찾을 가능성 높음
- 일부 weight가 정확히 0이 됨: sparse weights

Regularization Term을 샘플 수로 나누는 이유

Regularization Term을 나누지 않은 경우:

$$L = \displaystyle \frac{1}{m}\sum_{i=1}^{m}(y_i - \hat{y}_i)^2 + \lambda\sum_{j=1}^{n}w_j^2$$

MSE는 $\frac{1}{m}$로 평균을 내어 스케일 유지.
규제항은 $m$ (=sample size)과 무관하게 고정값
결과: $m$이 커질수록 전체 loss에서 regularization term(규제항)의 상대적 영향력이 변하게 됨

구체적 예시

gradient 계산 시:
- 데이터 항: $\displaystyle \frac{2}{m} \times \sum_{i=1}^{m}(\text{예측오차} \times x_i)$
- 규제항: $2\lambda w$ : 항상 고정됨

여기서 regularization term은 sample size $m$과 무관하게 고정된 형태이나 데이터와 얼마나 잘 fit되었는지를 나타내는 term은 $\frac{1}{m}$의 영향을 받음: $m$이 변하면 두 term의 상대적 영향력이 변하게 됨.

하지만, 가급적

샘플수 $m$ 에 상관없이 데이터 항과 규제항의 영향을 일정하게 유지해야 함.

해결책

$$L = \displaystyle \frac{1}{m}\sum_{i=1}^{m}(y_i - \hat{y}_i)^2 + \frac{\lambda}{m}\sum_{j=1}^{n}w_j^2$$

$\lambda$의 의미가 데이터 크기와 무관하게 일정 유지
하이퍼파라미터 튜닝 시 일관성 확보

Bias를 규제하지 않는 이유

일반적인 규제항

$$\frac{\lambda}{m}\sum_{j=1}^{n}w_j^2 \quad \text{(bias } b \text{는 제외)}$$

세 가지 핵심 이유

1. 평행이동 불변성

모든 타겟값에 상수 $c$를 더해도 예측 성능 동일해야 함
Bias 규제 시 이 성질 위반
데이터의 스케일에 독립적인 모델 필요

2. Centering Perspective (중심화 관점)

데이터를 평균 0으로 중심화 (zero-mean centering)하면 bias는 자연스럽게 0 이 됨.
이 경우, 원래 스케일 (or 평균)로 복원 시에만 bias 필요
수식: $\bar{y} = 0 \Rightarrow b = 0$

3. 실용적 고려사항

Bias는 모델 복잡도와 실제로 무관 (regression의 경우 단순히 평균값에 해당)
over-fitting(과적합)은 주로 weight의 크기에서 발생 .
Bias 제한 시 문제:
- 데이터 평균값 예측 실패
- 모델의 표현력 불필요하게 제한

요약

Ridge regression은 안정적이고 해석 가능한 regularization(정칙화 방법)
설계 선택들은 수학적 원리와 실용적 고려사항의 균형
L1 대비 모든 특성을 유지하면서 균일하게 weight 축소
데이터 크기에 무관한 일관된 성능을 보장하려면,
- regularization만으로는 충분하지 않으며
- 별도의 적절한 feature scaling이 필요함.

같이보면 좋은 자료들

2024.10.27 - [Programming/ML] - [ML] Regularization

[ML] Regularization

dsaint31.tistory.com

https://ds31x.tistory.com/352

[ML] Classic Regressor (Summary) - regression

ds31x.tistory.com

Subgradient 와 Gradient Descent

dsaint31x — Sun, 2 Nov 2025 13:47:32 +0900

Prerequistes

모델 학습의 목표는

손실 함수 $L(\boldsymbol{\omega}, \textbf{X})$를 최소화하는
파라미터 $\boldsymbol{\omega}$를 찾는 것임.

이때 가장 기본적인 최적화 방법은 Gradient Descent(경사 하강법)임:

$$\boxed{\boldsymbol{\omega}_{t+1} = \boldsymbol{\omega}_t - \eta \nabla_{\boldsymbol{\omega}} L(\boldsymbol{\omega}_t, \textbf{X})}$$

where,

$\boldsymbol{\omega}_t$: $t$번째 스텝의 파라미터
$\eta > 0$: 학습률(learning rate)
$\nabla_{\boldsymbol{\omega}} L(\boldsymbol{\omega}_t, \textbf{X})$: 손실의 gradient

위의 식은 loss function의 증가 방향과 반대 방향으로 parameters를 갱신함으로써 loss function을 점차 감소시킴.

2023.10.19 - [Programming] - [ML] Gradient Descent Method: 경사하강법

[ML] Gradient Descent Method: 경사하강법

dsaint31.tistory.com

미분이 되지 않는 loss 함수의 문제

하지만 손실 함수 $L(\boldsymbol{\omega}, \textbf{X})$이 항상 매끄럽게 미분 가능한 것은 아님.
예를 들어 L1 정규화 항이 포함된 손실은 다음과 같음.

$$L(\boldsymbol{\omega}, \textbf{X}) = \text{loss}(\boldsymbol{\omega}, \textbf{X}) + \lambda |\boldsymbol{\omega}|_1$$

여기서 $\|\boldsymbol{\omega}\|_1 = \sum_i |\omega_i|$는
$\omega_i = 0$에서 미분을 할 수 없음.

즉, $\nabla_{\boldsymbol{\omega}} L(\boldsymbol{\omega}_t, \textbf{X})$를 계산할 수 없는 구간이 존재함.
이를 해결하기 위해 Subgradient 개념이 도입됨.

Subgradient의 정의

Convex(볼록) 함수 $L(\boldsymbol{\omega})$에 대해 벡터 $\textbf{g}$가 다음 부등식을 만족하면,
$\textbf{g}$를 $L$의 Subgradient라 부름:

$$L(\textbf{y}) \ge L(\textbf{x}) + \textbf{g}^\mathsf{T} (\textbf{y} - \textbf{x}), \quad \forall \textbf{y}$$

이 식은 $\textbf{g}$가

함수 $L$의 그래프를
아래(sub-)에서 지지(support) 하는 선형 함수의 기울기임을 의미
모든 $\textbf{y}$에서 구해지므로 convex function에서만 subgradient는 존재함:
- non-convex의 경우엔 Clake subgradient 와 같은 확장된 도구 필요.

참고로 Gradient에선 부등호가 아닌 등호가 성립됨.
$$L(\textbf{y}) = L(\textbf{x}) +\nabla L(\textbf{x})^\mathsf{T}(\textbf{y}-\textbf{x})$$

이러한 모든 $\textbf{g}$의 집합을 (Convex) Subdifferential (=subgradient set)이라 하며,

$$\partial L(\textbf{x}) = \{ \textbf{g} \mid L(\textbf{y}) \ge L(\textbf{x}) + \textbf{g}^\mathsf{T}(\textbf{y} - \textbf{x}),\ \forall \textbf{y} \}$$

으로 정의함.

Subgradient Descent - 미분불가 함수로의 확장

Subgradient 개념을 이용하면,
미분되지 않는 covex 함수에서 다음과 같이 Gradient Descent의 형태를 그대로 유지하면서 최적화 수행이 가능:

$$\boxed{\boldsymbol{\omega}_{t+1} = \boldsymbol{\omega}_t - \eta \textbf{g}_t, \quad \textbf{g}_t \in \partial L(\boldsymbol{\omega}_t, \textbf{X})}$$

where,

$\textbf{g}_t$: $L(\boldsymbol{\omega}_t, \textbf{X})$의 Subgradient
미분 가능한 경우: $\textbf{g}_t = \nabla_{\boldsymbol{\omega}} L(\boldsymbol{\omega}_t, \textbf{X})$

즉,

Subgradient Descent는
Gradient Descent를 미분 불가 함수로 확장한 일반화 형태라고 할 수 있음.

내적 $\textbf{g}^\mathsf{T}(\textbf{y} - \textbf{x})$의 의미

Subgradient 정의에 inner product(내적)이 사용되는데
inner product가 이루어지는 항에서 loss function의 변화량을 기울기 방향으로 투영(projection) 함.

$\textbf{g}$: 함수의 증가 방향
$(\textbf{y} - \textbf{x})$: 이동 방향
$\textbf{g}^\mathsf{T}(\textbf{y} - \textbf{x})$: 해당 방향으로의 선형 근사 변화량

따라서 inner product은 “기울기 벡터(gradient or subgradient)가 함수 변화에 미치는 선형적 영향”을 표현함.

“sub”의 의미

Subgradient의 “sub”는 단순히 “부분”이 아니라
“함수 그래프를 아래에서(subordinate) 지지”한다는 의미를 지님.

또한, gradient의 부재 영역에서도 사용되므로
“gradient의 일반화(generalization)” 혹은 “대체(substitute)” 개념으로도 이해할 수 있음.

예시 — L1 정규화 항의 Subgradient

L1 항 $|\omega_i|$의 Subgradient는 다음과 같음:

$$\frac{\partial |\omega_i|}{\partial \omega_i} =
\begin{cases}
1, & \omega_i > 0 \\
-1, & \omega_i < 0 \\
[-1, 1], & \omega_i = 0
\end{cases}$$

여기서 각 symbol의 의미는 다음과 같음:

parameter vector $\boldsymbol{\omega}$의 $i$번째 component가 $\omega_i$임.
$t$: iteration index.
$i$: vector에서의 component index
$\omega_{t,i}$: $t$-iteration에서의 $i$번째 weight

따라서 전체 손실에 대한 update equation은 다음과 같음:

$$\omega_{t+1,i} = \omega_{t,i} - \eta g_{t,i}, \quad g_{t,i} \in \frac{\partial L}{\partial \omega_i}$$

위의 식을 통해 $\omega_i = 0$ 인 미분 불가 구간에서도
가능한 여러 방향 중 하나를 선택하여 하강할 수 있음.

Converge Property

Subgradient Descent는 gradient descent (GD) 에 비해 수렴 속도가 느림.

convex인 경우엔 다음의 적절한 조건(diminishing learning rate)이 있을 경우 최적점으로 수렴함.
- $\eta_t > 0$, $\eta_t \to 0$, $\sum^\infty_{t=1} \eta_t = \infty$
- 이를 만족하는 learning rate $\eta$를 diminishing learning rate라고 하며 $\eta_t = \frac{a}{\sqrt{t}}$ 등이 대표적 예임.
learning rate 조건이 상수인 경우엔 optimum 근처에서 진동할 수 있으므로 diminishing learning rate를 사용함.

항목	Gradient Descent	Subgradient Descent
적용 대상	Differentiable Loss (Convex인 경우 항상 global optimum 에 도달)	Non-differentiable Convex Loss (Non-smooth convex loss) (Convex loss with non-differentiable points)
업데이트	$\boldsymbol{\omega}_{t+1} = \boldsymbol{\omega}_t - \eta \nabla_{\boldsymbol{\omega}} L(\boldsymbol{\omega}_t)$	$\boldsymbol{\omega}_{t+1} = \boldsymbol{\omega}_t - \eta \textbf{g}_t,\quad \textbf{g}_t \in \partial L(\boldsymbol{\omega}_t)$
의미	gradient 방향으로 이동	subgradient는 supporting hyperplane from below의 기울기 "가능한 subgradient 중 하나"를 선택해 이동

Gradient Descent의 일반화: Subgradient Descent

Subgradient는 Gradient를 미분불가 함수로 확장한 일반화된 개념.
그에 따른 학습식은 Gradient Descent와 동일한 형태를 유지함.

$$\boxed{
\boldsymbol{\omega}_{t+1} = \boldsymbol{\omega}_t - \eta \textbf{g}_t, \quad \textbf{g}_t \in \partial L(\boldsymbol{\omega}_t, \textbf{X})}$$

결론적으로,

Subgradient Descent는
미분이 불가능한 영역에서도 “함수값이 감소하는 방향”을 정의하여
Gradient Descent의 아이디어를 확장 및 일반화한 방법임.

Bias-Variance Tradeoff

dsaint31x — Thu, 30 Oct 2025 12:23:42 +0900

Supervised Learning의 궁극적인 목표

학습에 사용된 데이터 뿐만 아니라,
한 번도 보지 못한 새로운 데이터에 대해서도 정확한 예측을 수행하는 능력, 즉
일반화 성능(generalization performance)을 높이는 것임.

모델이 예측한 값과 실제 값 사이의 차이, 즉 예측 오류는 단 하나의 원인으로 발생하지 않으며, 이 오류는 세 가지 주요 구성 요소로 분해될 수 있음:

Bias (편향)
Variance (분산)
Irreducible Error (줄일 수 없는 오류)

이 글은

이 세 가지 오류에 대한 설명을 하고
이들 중 Bias와 Variance가 모델의 복잡도를 축으로 할 때, trade-off (상충관계)를 갖는 이유를 소개함.

1. 예측 오류의 세 가지 구성 요소

예측 오류를 구성하는 세 가지 핵심 요소를 각각 정의하고, 그 원인과 결과를 살펴보기 위해 한 가지 가정을 해보겠음.

현실 세계에서 100개의 서로 다른 학습 데이터셋을 수집(dataset이 100개임)
각 데이터셋으로 100개의 개별 모델을 학습시킬 수 있다고 가정.

1.1. Bias Error

편향(Bias)이란,

학습시킨 100개 모델 예측값들의 평균(mean)이 실제 정답(true function)에서 얼마나 벗어나 있는지에 해당.
이는 모델이 실제 정답에 대해 가지는 일종의 체계적인 오차 임.

bias는 모델의 근본적인 한계 (모델이 기반으로 삼는 가정등이 실제 data에서 어긋나는 경우 등)에서 비롯되는 error임.

때문에, bias는 더 많은 데이터로 학습시킨다 해도 줄어들지 않는 error임.

bias는 모델 자체가 가진 잘못된 가정 및 데이터의 한계(유용하지 않은 feature로 구성) 때문에 발생.

잘못된 가정과 대표적이지 않은 데이터:
- 현실의 복잡한 비선형 관계를 선형 모델로만 가정하거나,
- 실제 유용하지 않은 feature로만 구성된 학습 데이터(representive data가 아님)로 인해 발생.
대표적인 예: 단순한 모델
- 모델의 파라미터 수가 적어
- 데이터의 복잡한 패턴을 모두 담아내지 못하는 경우 편향이 높아짐: under-fit.

일반적으로 높은 bias를 가진 모델은 '고집이 셉니다' (무식하고 고집이 센 사람을 생각).

때문에, 학습 데이터셋($D$)이 조금 바뀌더라도 모델의 파라메터들이 거의 변하지 않음.
단순한 모델의 경우, 학습 데이터에서 가장 큰 경향성 만을 포착하여 기억하기 때문임.
모델이 문제를 푸는데 중요한 데이터의 핵심적인 경향들을 학습하기에 복잡도가 떨어질 경우
제대로 학습하지 못하는 과소적합(Underfitting) 상태가 됨.

1.2. Variance Error (분산 에러)

분산(Variance)이란,

100개의 서로 다른 데이터셋으로 학습시킨 모델들이 하나의 입력값에 대해 얼마나 서로 다른 예측을 하는지를 나타내는 척도.
이는 다른 데이터셋으로 인해 모델이 얼마나 차이를 가지는지를 나타냄.

달리 말하면 variance는 모델이 학습 데이터에 얼마나 민감하게 반응하는지를 나타냄.

Variance Error 의 원인과 결과는 다음과 같음:

원인:
- 파라미터가 많은 복잡하고 유연한 모델이
- 학습 데이터의 미세한 변동이나 노이즈(noise)까지 '패턴'으로 오인하여 과도하게 학습할 때
- variance error가 발생.
결과:
- Variance는 "만약 다른 학습 데이터셋 $D$로 학습했다면 모델 $\hat{f}$가 얼마나 다른 파라메터를 가지는가?"를 측정.
- Varaiance가 높은 모델은 불안정하여 학습 데이터가 조금만 바뀌어도 완전히 다른 모델이 되는 문제점을 가짐.

높은 Variance는

모델이 학습 데이터에만 지나치게 최적화되는 과대적합(Overfitting) 을 유발함을 의미함.
이는 새로운 데이터 (학습데이터가 아닌 testset에서)에 대한 예측 성능 저하로 이어짐.

1.3. 줄일 수 없는 오류 (Irreducible Error)

줄일 수 없는 오류(Irreducible Error)란,

데이터 자체에 본질적으로 내재된 무작위성 또는 노이즈(noise) 및 에러로서
어떠한 학습 알고리즘을 사용하더라도 제거할 수 없는 한계선을 의미함.

데이터는 종종 다음의 수식으로 표현됨.
$$y = f(x) + \epsilon$$
where

$f(x)$는 우리가 찾으려는 실제 물리적인 패턴,
$\epsilon$은 측정 오차나 무작위성으로 인한 노이즈.

아무리 완벽한 모델을 학습시켜서 $f(x)$를 최대한 정확히 approximate해도, $\epsilon$으로 인한 오류는 본질적으로 피할 수 없음.

1.4. 한눈에 비교하기: 편향 vs. 분산

특징	높은 편향 (High Bias)	높은 분산 (High Variance)
모델 복잡도	단순함 (낮은 Capacity)	복잡함 (높은 Capacity)
주요 원인	지나치게 단순한 가정, 대표적이지 못한 데이터의 한계	학습 데이터의 노이즈까지 과도하게 학습
발생 문제	과소적합 (Underfitting)	과대적합 (Overfitting)
데이터에 대한 민감도	학습 데이터가 바뀌어도 모델 변화가 거의 없음	학습 데이터가 바뀌면 모델이 크게 변동함 (불안정함)

이들 error를 일으키는 요소들 중에서

Variance와 Bias는 모델의 복잡도라는 하나의 핵심 요소를 축으로 'trade-off' 관계에 놓여 있음.

2. Bias-Variance Tradeoff

최적의 일반화 성능을 얻으려면 bias와 variance를 모두 함께 동시에 줄여야 함

하지만 이 둘은 모델의 복잡도(Model Complexity)를 기준으로 tradeoff 관계임.

모델이 단순할수록 (복잡도 낮음):
- 모델은 데이터의 큰 경향성만을 학습.
- 이로 인해 데이터의 세부 패턴을 놓쳐 큰 bais를 가지기 쉬움.
- 대신, 데이터에 포함된 작은 노이즈에는 둔감하게 반응하므로 variance는 낮아짐.
모델이 복잡해질수록 (복잡도 높음):
- 모델은 데이터의 세세한 패턴까지 학습할 수 있게 되어 낮은 bias를 가짐.
- 하지만 데이터의 노이즈까지 패턴으로 인식하고 학습 하게 되어,
- 학습 데이터가 조금만 바뀌어도 예측값이 크게 변함(모델의 파라메터가 크게 변하기 때문임)
- 이는 높은 Variance 로 이어짐.

결론적으로, 최적의 일반화 성능을 얻으려면
bias와 variance를 동시에 줄여야 하지만,
하나를 줄이면 다른 하나가 늘어나는 경향이 있어
이 둘 사이의 균형점을 찾는 것이 중요.

3. 수식으로 본 error

regression 모델의 예측 오류를 나타내는 평균 제곱 오차(Mean Squared Error, MSE)가 어떻게 bias, variance, irreducible error로 분해되는지를 수식으로 살펴볼 수 있음.

3.1. 용어 정의 및 목표 설정

먼저 수식 전개에 필요한 기본 변수들은 다음과 같음:

$y$: 실제 target value. $y = f(x) + \epsilon$
$f(x)$: 우리가 찾고자 하는 이상적인 모델 (물리적인 실제 데이터 생성 기전을 모델링하고 있는)
$\epsilon$: 평균이 0이고 분산이 $\sigma$인 정규분포를 따를는 노이즈 ($E[\epsilon] = 0, Var[\epsilon] = \sigma^2$).
$\hat{f}(x; D)$: 주어진 학습 데이터셋 $D$를 통해 우리가 만든 예측 모델. 모델이 $D$에 의존함을 명시적으로 표기함.

목표는 예측 값($\hat{f}$)과 실제 값($y$)의 차이(difference, error)를 나타내는 MSE, 즉 $E[(y - \hat{f}(x; D))^2]$를 최소화하는 것임.

기댓값 $E[...]$는 가능한 모든 학습 데이터셋 $D$에 대한 평균을 의미.

3.2. 평균 제곱 오차(MSE) 분해 과정

평균 제곱 오차를 다음과 같이 단계별로 분해할 수 있음: 간단한 수식을 위해 $f(x)$는 $f$, $\hat{f}(x; D)$는 $\hat{f}$로 표기.

MSE 정의와 $y$ 대체
- $E[(y - \hat{f})^2] = E[(f + \epsilon - \hat{f})^2]$
- $y$를 실제 함수와 노이즈의 합 $f + \epsilon$로 치환.
핵심 단계: 평균 예측 $E[\hat{f}]$ 도입
- $E[(f + \epsilon - \hat{f})^2]= E[(f - E[\hat{f}] + E[\hat{f}] - \hat{f} + \epsilon)^2]$
- 이 단계가 증명의 핵심임.
- 평균 예측 $E[\hat{f}]$을 더하고 빼서 식의 값을 바꾸지 않으면서, 전체 오차를 다음의 세부분으로 나눌 수 있게 해줌.
  - (1) Bias 관련 부분: $(f - E[\hat{f}])$,
    - (2) Variance 관련 부분: $(E[\hat{f}] - \hat{f})$,
    - (3) 노이즈 $\epsilon$ 관련 부분
term(항) 재배열 및 제곱 전개
- $E[(f + \epsilon - \hat{f})^2]= E[ ( (f - E[\hat{f}]) + (E[\hat{f}] - \hat{f}) + \epsilon )² ]$
- 세 개의 항 $(f - E[\hat{f}])$, $(E[\hat{f}] - \hat{f})$, $\epsilon$으로 묶어 제곱식을 전개.
- $E[(f + \epsilon - \hat{f})^2]= E[(f - E[\hat{f}])^2] + E[(E[\hat{f}] - \hat{f})^2] + E[\epsilon^2] + 2E[(f - E[\hat{f}])(E[\hat{f}] - \hat{f})] + 2E[(f - E[\hat{f}])\epsilon] + 2E[(E[\hat{f}] - \hat{f})\epsilon]$
교차 항(Cross-term) 정리
- 전개된 식의 뒤쪽 세 개 교차 항들은 기댓값의 성질에 의해 모두 0이 됨.
  - $2E[(f - E[\hat{f}])(E[\hat{f}] - \hat{f})]$:
    - 여기서 $f$와 $E[\hat{f}]$는 $D$에 대한 기댓값이므로 상수 취급이 가능.
    - 따라서 $2(f - E[\hat{f}]) \times E[E[\hat{f}] - \hat{f}]$가 되며,
    - $E[E[\hat{f}] - \hat{f}] = E[\hat{f}] - E[\hat{f}] = 0$ 을 이용하면 전체 term은 0.
  - $2E[(f - E[\hat{f}])\epsilon]$:
    - $f$와 $E[\hat{f}]$는 $\epsilon$과 무관하므로
    - $2(f - E[\hat{f}]) \times E[\epsilon]$로 전개 가능.
    - $E[\epsilon] = 0$이므로 이 term도 0.
  - $2E[(E[\hat{f}] - \hat{f})\epsilon]$:
    - 모델 $\hat{f}$은 학습 데이터 D에만 의존
    - 노이즈 $\epsilon$는 $D$에 대해 독립적.
    - 따라서 $E[(E[\hat{f}] - \hat{f})\epsilon] = E[E[\hat{f}] - \hat{f}] \times E[\epsilon]$로 분리 가능.
    - $E[E[\hat{f}] - \hat{f}] = 0$ 이고 $E[\epsilon] = 0$이므로 이 term 도 0.
최종 결과 도출
- cross terms가 모두 0이 되면서 다음의 세 개의 term들만 남음:
- $E[(f + \epsilon - \hat{f})^2]= E[(f - E[\hat{f}])^2] + E[(E[\hat{f}] - \hat{f})^2] + E[\epsilon^2]$
- 각 항을 정의에 따라 정리.
  - $f$와 $E[\hat{f}]$는 상수이므로, $E[(f - E[\hat{f}])^2] = (f - E[\hat{f}])^2$ 임:
    - 이는 bias의 제곱 ($\text{Bias}[\hat{f}])^2$
  - $E[(\hat{f} - E[\hat{f}])^2]$는 variance, $\text{Var}[\hat{f}]$ 임.
  - $\text{Var}[\epsilon] = E[\epsilon^2] - (E[\epsilon])^2$이고 $E[\epsilon]=0$이므로, $E[\epsilon^2] = \text{Var}[\epsilon] = \epsilon^2$임.
    - 이는 irreducible error임.

$$E[(f + \epsilon - \hat{f})^2] = (E[\hat{f}] - f)^2 + \text{Var}[\hat{f}] + \epsilon^2$$

3.3. 최종 공식과 그 의미

최종적으로 분해된 총 오류(MSE) 공식은 다음과 같음.

$$ E[(y - \hat{f})²] = (\text{Bias}[\hat{f}])^2 + \text{Var}[\hat{f}] + \epsilon^2$$

이 공식의 각 항이 의미하는 바는 다음과 같음

bias의 제곱: 여러 다른 학습 데이터셋으로 학습시킨 모델들의 평균적인 예측이 실제 정답 함수에서 얼마나 벗어났는가? (모델의 근본적인 한계)
variance : 각기 다른 학습 데이터셋으로 학습시킨 모델들의 예측이 서로 얼마나 흩어져 있는가? (모델의 학습 데이터 민감도/불안정성)
Irreducible Error (줄일 수 없는 오류) :데이터 자체에 내재된 노이즈의 크기

[SS] $u(t)-u(t-a)$ 의 (unilateral) Laplace Transform

dsaint31x — Thu, 30 Oct 2025 09:55:26 +0900

증명1

보통 $a>0$ 가정

$$x(t)=u(t)-u(t-a)=
\begin{cases}
1,& 0\le t<a \\
0,& \text{그 외}
\end{cases}$$

이와 같으므로 unilateral transform 은

$$\mathcal{L}[x(t)]
= \int_{0}^{\infty} e^{-st}\big[u(t)-u(t-a)\big] dt
= \int_{0}^{a} e^{-st} dt$$

구간 외에는 0 임.

$\operatorname{Re}(s)>0$에서

$$\int_{0}^{a} e^{-st} dt
= \left[\frac{e^{-st}}{-s}\right]_{0}^{a}
= \frac{1-e^{-as}}{s}.$$

위에 의해 다음이 성립

$$\boxed{\;\mathcal{L}[u(t)-u(t-a)]=\dfrac{1-e^{-as}}{s},\quad \operatorname{Re}(s)>0\;}$$

증명2

Linearity 를 이용해도 증명 가능.

$$\mathcal{L}[u(t)]=\frac{1}{s} \\
\mathcal{L}[u(t-a)]=\int_{a}^{\infty} e^{-st}\,dt=\frac{e^{-as}}{s} \ \ (\operatorname{Re}(s)>0).$$

따라서
$$\mathcal{L}[u(t)-u(t-a)]=\frac{1}{s}-\frac{e^{-as}}{s}=\frac{1-e^{-as}}{s}.$$

같이보면 좋은 자료

2022.10.24 - [.../Signals and Systems] - [SS] Laplace Transform Table

[SS] Laplace Transform Table

SignalLaplace TransformRoC...1$u(t)$$\frac{1}{s}$$\text{Re}(s)>0$ 2$u(t)-u(t-a)$$\frac{1-e^{-as}}{s}$$\text{Re}(s)>0$ 3$\delta(t)$1all complex plane 4$\delta(t-a)$$e^{-as}$all complex plane 5$e^{-at}u(t)$$\frac{1}{s+a}$$\text{Re}(s)>-a$참고6$\cos\Omega_0

dsaint31.tistory.com

[SS] 상수 함수에 대한 Unilateral Laplace Transform

dsaint31x — Thu, 30 Oct 2025 09:34:32 +0900

1. Laplace Transform의 정의

One-sided(unilateral) Laplace transform은 다음과 같이 정의:

$$\mathcal{L}[f(t)] = \int_{0}^{\infty} e^{-st} f(t)\, dt$$
where,

$s = \sigma + j\omega$

2. $f(t) = 1$을 대입

$$\mathcal{L}[1] = \int_{0}^{\infty} e^{-st}\, dt$$

3. 적분 계산

이 적분은 지수함수의 무한 적분임.
때문에 수렴 조건을 먼저 확인하여 ROC를 구함.

$\operatorname{Re}(s) > 0$ 일 때만 수렴.

적분을 계산하면:

$$\int_{0}^{\infty} e^{-st}\, dt = \left[ \frac{e^{-st}}{-s} \right]_{0}^{\infty}$$

4. 극한 계산

$t \to \infty$ 일 때 $\operatorname{Re}(s) > 0$이면 $e^{-st} \to 0$
$t = 0$ 일 때 $e^{-st} = 1$

다음이 성립함:
$$\int_{0}^{\infty} e^{-st}\, dt = \frac{0 - (1)}{-s} = \frac{1}{s}$$

5. 결론

$$\boxed{\mathcal{L}[1] = \frac{1}{s}, \quad \operatorname{Re}(s) > 0}$$

같이보면 좋은 자료들

2022.10.24 - [.../Signals and Systems] - [SS] Laplace Transform Table

[SS] Laplace Transform Table

dsaint31.tistory.com

Matrix Norm and Condition Number

dsaint31x — Wed, 29 Oct 2025 17:45:27 +0900

https://en.wikipedia.org/wiki/Condition_number

Matrix Norm

Vector의 Norm을 이용한 Matrix의 Norm의 정의는 다음과 같음.

$$\|A\|=\underset{\textbf{x}\ne\textbf{0}}{\text{max}} \frac{\|A\textbf{x}\|}{\|\textbf{x}\|}$$

$\textbf{x}$ : 임의의 column vector.

위의 Matrix의 Norm에 대한 정의로부터 다음이 성립.

$$\|A\textbf{x}\|\le\|A\|\|\textbf{x}\|$$

좀 더 자세히 말하면, 이는 Operator norm (or induced norm)이라고 불리는 것으로 matrix를 linear transform으로 보고 해당 변환이 얼마나 input vector의 norm을 "증가시키는지"를 norm으로 표현함.

사용하는 vector norm (L-p Norm에서 p의 값에 따라 다름)의 종류에 따라 값이 달라짐.

참고로 Matrix Norm 으로 더 많이 사용되는 것은 Frobenius norm임:

$$\|A\|_\text{Frobenius} = \sqrt{\sum_{i,j} |a_{i,j}|^2}$$

참고: Norm이란?

https://dsaint31.tistory.com/254#Norm%20(%EB%85%B8%EB%A6%84)-1-5

[Math] Vector (1)

Scalar오직 magnitude(크기)만을 가지는 물리량.숫자 하나.ndim=0, rank=02024.07.08 - [.../Linear Algebra] - [LA] Rank: Matrix의 속성 [LA] Rank: Matrix의 속성Definition: Rank ◁ matrix 속성The rank of a matrix $A$, denoted by rank $A

dsaint31.tistory.com

Condition number (조건수)

행렬의 condition number는
방정식 $A\textbf{x}=\textbf{b}$ 의 민감도를 나타내는 지표임.

행렬 $A$ 의 조건수가 크면 (←민감한 경우) 일정한 크기의 input의 상대 오차에 대해서 solution(해)의 상대 오차가 커질 수 있고 (ill-conditioned라고 한다),
반대로 작으면 solution의 상대 오차도 작아지게됨(이 경우를 well-conditioned라고 부름).

기계학습 적인 관점에서 말하면,

condition number가 클 경우 작은 오차(혹은 noise)에 대해 매우 민감하게 반응하므로 overfitting이 일어나기 쉽다.
이는 다른 데이터 셋으로 학습시 모델이 매우 다른 파라메터(solution에 해당)를 가지게 됨을 의미한다.

전통적인 linear system으로 애기하면,

codition number가 클 경우, 사실상 ill-pose inverse problem과 같이 처리 (정확히는 ill conditioned problem)되기 싶다.
well-posed라고 해도 연산과정에 피할 수 없는 round-off error로 인해 matrix가 singular로 바뀌기 쉽다는 애기임.

Condition Number(조건수) 유도.

Linear system에서 input $\textbf{b}$가 오차가 발생하여, $(\textbf{b} +\Delta \textbf{b})$로 주어질 경우, solution $\textbf{x}$도 다음과 같은 출력오차를 가지게 됨 :

$$(\textbf{x}+\Delta \textbf{x})$$

즉, 아래의 등식이 성립.

$$A(\textbf{x}+\Delta \textbf{x})=(\textbf{b} +\Delta \textbf{b}) \Rightarrow \Delta \textbf{x} = A^{-1}\Delta \textbf{b}$$

위 식에 Matrix의 Norm을 이용하면, 다음과 같은 부등식이 성립.

$$\Delta \textbf{x} = A^{-1}\Delta \textbf{b} \Rightarrow \| \Delta \textbf{x} \| \le \|A^{-1}\| \|\Delta \textbf{b}\| \tag{1}$$

원래의 linear system에서 다음이 또한 성립.

$$A\textbf{x}=\textbf{b} \Rightarrow \textbf{b}=A\textbf{x} \Rightarrow \|\textbf{b}\|=\|A\| \|\textbf{x}\| \tag{2}$$

부등식 1과 2로부터 다음이 성립함.

$$\frac{\|\Delta \textbf{x}\|}{\|A\| \|\textbf{x}\|} \le \frac{ \|A^{-1}\| \|\Delta \textbf{b}\|}{ \|\textbf{b}\|} \\\\ \frac{\|\Delta \textbf{x}\|}{ \|\textbf{x}\|} \le \|A\| \|A^{-1}\| \frac{\|\Delta \textbf{b}\|}{ \|\textbf{b}\|}$$

위에 따르면,

input 의 상대오차$\frac{ \|\Delta \textbf{b}\|}{ \|\textbf{b}\|}$에 따른 solution의 상대오차 $\frac{\Delta \|\textbf{x}\|}{ \|\textbf{x}\|}$의 정도가 $\|A\| \|A^{-1}\|$에 의해서 결정되며 이를 Condition number (조건수)라고 한다.

$$\text{cond}(A) = \| A \| \| A^{-1}\| $$

Singular value ratio: Condtion Number

위의 설명은 개념을 반영한 설명이고,

가장 일반적으로 condtion number를 구하는 방법은 SVD(singular value decomposition)을 통한 singular value $\sigma$들을 구하고, 그중 최대값과 최소값의 ratio를 구하는 것임.

$$\text{cond}(A) = \frac{| \sigma_\text{max}(A) |}{|\sigma_\text{min}(A)|}$$

$\sigma(A)$ : Matrix $A$의 singular value.

Reference

https://ghebook.blogspot.com/2021/03/matrix-norm-and-condition-number.html

행렬 노름과 조건수(Matrix Norm and Condition Number)

물리학, 수학, 전자파

ghebook.blogspot.com

https://dsaint31.tistory.com/entry/Round-off-Error-vs-Truncation-Error-1

Round-off Error vs. Truncation Error

Round-off Error: 컴퓨터에서 수치를 저장하는 데이터 타입의 한계로 인한 에러.제한된 비트에 수치를 저장하기 때문에 발생하며 Finite word-length effect, Finite word-length error라고도 불림.주로 quantization에

dsaint31.tistory.com

https://dsaint31.tistory.com/entry/Math-ill-posed-well-posed-ill-conditioned-well-conditioned-matrix-or-problem

[Math] ill-posed, well-posed, ill-conditioned, well-conditioned matrix (or problem)

dsaint31.tistory.com

Lorentzian Function (or Cauchy distribution function)

dsaint31x — Fri, 24 Oct 2025 14:44:05 +0900

Lorentzian 함수(로렌츠 함수)는 물리학과 신호처리, 특히 공명(resonance)과 푸리에 변환에서 자주 등장하는 함수.

1. Definition

Lorentzian function 또는 Cauchy distribution function은 다음과 같이 정의됨:

$$
L(x; x_0, \gamma) = \frac{1}{\pi}\frac{\gamma}{(x - x_0)^2 + \gamma^2}
$$

where,

$x_0$: 중심(center). 주로 0으로 사용되는 경우도 많음.
$\gamma$ > 0: 반치폭(half width at half maximum, HWHM)
전체 면적 $\int_{-\infty}^{\infty} L(x),dx = 1$

다음과 같이 $\frac{1}{\pi}$를 제거하고 $x_0=0$인 형태로도 자주 사용됨.

$$L(x; \gamma) = \frac{\gamma}{x^2+\gamma^2}$$

이 경우 면적은 $\pi$임.

https://youtu.be/wbdGyUvvrjI

2. 주요 특징 (Properties)

속성	설명
대칭성	$x_0$을 중심으로 even function(짝함수)
최대값	$L(x_0) = 1/(\pi \gamma)$
폭	$FWHM = 2\gamma$
꼬리감소	$L(x) \sim \dfrac{1}{x^2}$ (heavy tail)

평균/분산은 보통 정의되지 않음 (꼬리가 너무 느리게 감소하기 때문).

3. Fourier 변환과의 관계

Lorentzian 함수는 지수 감쇠 함수의 푸리에 변환으로 등장.

$$e^{-\gamma|t|} \overset{\mathcal{F}} {\longleftrightarrow} \frac{2\gamma}{\gamma^2 + \omega^2}$$

여기서 $\frac{2\gamma}{\gamma^2 + \omega^2}$ 는 Lorentzian 형태임.

즉, 시간 영역에서 신호가 감쇠(or 진동)하면,
주파수 영역에서 Lorentzian 모양의 스펙트럼이 발생함.

때문에 Lorentzian은
공명(Resonance) 스펙트럼, 광선폭(Line width),
NMR, X-ray, CT 등에서의 신호선폭 표현에 매우 자주 사용되는 함수임.

4. Impulse function(Dirac delta)와의 관계

Lorentzian은 감쇠 파라미터 $\gamma$가 $0^+$로 갈수록 점점 뾰족해지며,Dirac delta 함수로 수렴함..

$$
\boxed{
\lim_{\gamma \to 0^+} \frac{1}{\pi} \frac{\gamma}{x^2 + \gamma^2} = \delta(x)
}
$$

이는 다음 두 가지 조건을 만족하기 때문입니다:

항상 양수: $L(x) \ge 0$
면적이 1: $\displaystyle \int_{-\infty}^{\infty} L(x),dx = 1$

따라서 Lorentzian에서 $\underset{\gamma \to 0}{\lim}$을 취하면 “impulse function”으로 볼 수 있음.

$$\displaystyle \lim_{\gamma \to 0^+} \frac{\gamma}{x^2+\gamma^2} = \pi \delta(x)$$

즉, Dirac delta 의 부드럽고 수학적으로 취급 가능한 approximation 임.

2023.10.13 - [.../Signals and Systems] - [SS] Fourier Transform of Impulse Function (Dirac Delta)

[SS] Fourier Transform of Impulse Function (Dirac Delta)

Continuous Time Signal에서의 Impulse Function은 Dirac Delta Function $\delta(t)$임.이는 다음을 만족함.$$\delta(t)=\left\{ \begin{matrix} \infty &,t=0 \\ 0 &,t \ne 0 \end{matrix}\right. \\ \int^\infty_{-\infty} \delta(t)dt=1$$ 2022.08.29 - [...

dsaint31.tistory.com

4-1. 비교

구분	Lorentzian	Delta (Impulse)
식	$\frac{1}{\pi}\frac{\gamma}{x^2+\gamma^2}$	$\delta(x)$
파라미터	$\gamma>0$: 폭 조절	없음
폭	$\propto \gamma$	0 (이상적 점)
면적	1	1
극한 관계	$\lim_{\gamma\to 0^+} L(x)=\delta(x)$	자기 자신 $
물리적 의미	공명곡선, 라인폭, 감쇠	순간적 자극, 단위 에너지

4-2. gamma와 dirac delta

$\gamma$가 작을수록 Lorentzian은 더 뾰족하고 δ에 가까워짐
$\gamma$가 크면 넓게 퍼진 스펙트럼 → 감쇠가 강한 시스템

$$e^{-\gamma|t|} \overset{\mathcal{F}}{\longrightarrow} \frac{2\gamma}{\gamma^2+\omega^2}$$

즉, 시간 영역에서 감쇠가 강할수록 주파수 영역에서 스펙트럼이 넓어짐..

Dsaint31's blog

Turing Machine

0. Turing Machine과 계산 가능성 (computability)

참고: Turing Machine과 Imitation Game

1. Automaton 관점에서의 Turing Machine

Finite Automaton vs. Turing Machine

2. Turing Machine의 기본 구성

3. Program으로서의 Machine Description

Machine Description : $\langle M \rangle$

Input : $x$

4. Universal Turing Machine (UMT)

5. Program을 Data로 다룬다는 의미

6. Turing Completeness

7. Computability와 Decidability

Turing-computable

Decidable

8. Halting Problem

9. Church–Turing Thesis

10. 전체 관계

11. 핵심 정리

같이보면 좋은 자료들

Empirical risk

Population risk

Empirical risk

Empirical risk minimization

사례: Class imbalance와 empirical risk

Fundamental Photon Attenuation Law

Linear Attenuation Coefficient

Fundamental Photon Attenuation Law

Heterogeneous Medium and Polyenergetic Photons

같이 보면 좋은 자료들

Electric Potential vs. Voltage vs. Electron-volts

Electric Potential(전위):

Electric Potential Difference(전위차):

전위에너지 변화와의 관계:

Volt(볼트):

eV(Electron Volt, 전자볼트):

Monte Carlo와 MCMC

Monte Carlo

예: Dataset을 반복 생성하는 Monte Carlo simulation

MCMC

Parameter vector를 sampling하는 경우

예: Dataset 전체가 chain state인 경우

Burn-in과 convergence

대표적인 MCMC algorithm

Monte Carlo와 MCMC의 차이

같이보면 좋은 자료들

HalfNormal Distribution

정규분포에서 HalfNormal 분포로

HalfNormal의 확률밀도함수 (PDF)

$\sigma$ 의 의미

Bayesian 분석에서의 활용

같이보면 좋은 자료

DropPath 와 Stochastic Depth

1. 개념과 역사

1.1 Stochastic Depth

1.2 Drop-path

1.3 현대적인 용어 사용

2. DropPath의 효과

2.1 Regularization 효과

2.2 실제 계산량과 학습 시간

3. DropPath의 동작 원리

3.1 Residual block의 기본 구조

3.2 원래 Stochastic Depth의 동작

3.3 현대적인 inverted DropPath

3.4 Mini-batch 단위와 sample 단위

3.4.1 Mini-batch 단위 Stochastic Depth

3.4.2 Per-sample Stochastic Depth

3.5 CNN과 Transformer의 mask shape

3.5.1 CNN feature map

3.5.2 Transformer hidden state

3.6 제거되는 residual branch의 범위

3.7 Skip connection과 대체 경로

4. 깊이에 따른 DropPath probability

4.1 Survival probability와 drop probability

4.2 Linear decay of survival probability with depth

4.3 앞쪽 block의 probability가 낮은 이유

4.4 Block별 probability 계산 예

5. Framework별 구현

5.1 Torchvision의 StochasticDepth

5.1 Torchvision의 `StochasticDepth`

5.1.1 `mode="row"`

5.1.2 `mode="batch"`

5.2 timm의 `DropPath`

5.2.3 `scale_by_keep`

5.3 timm model의 `drop_path_rate`