[ 수식, 기호 ] Delta Symbol (델타 : Δ, δ )

---

 

[ 수식, 기호 ] Delta Symbol (델타 : Δ, δ )

 

---

머신러닝 딥러닝을 하다보면 복잡한 수식들에 압도되어

쉬운 공식들 조차 어렵게 느껴지는 경우가 많다.

고로, 만나는 수식들을 하나씩 정리하고

동시에 지속적으로 갱신하는 목적으로 글을 작성한다.

 

---

1. 대문자 델타(Delta, Δ)

1 - 1. 대문자 Delta 의 경우 일반적으로 "변화" 또는 "변화량" 을 의미한다.

이 놈은 머신러닝의 기초라 할 수 있는 경사하강법(gradient descent) 에서 마주쳤다.

 

$$ {\Large u(h+1)\ =\ u(h) + \Delta u} $$

$$ {\Large \Delta u\ =\ -\alpha \frac{\partial E}{\partial u}} $$

 

$$ u\ :\ weight\ vector $$

$$ u(h+1)\ :\ new\ weight\ vector$$

$$ u(h)\ :\ current\ weight\ vector$$

$$\Delta u\ :\ weight\ vector\ u의\ 변화량$$

 

따라서, 현재의 weigth vector에 변화량을 더해서 새로운 weight vector 로 갱신하겠다는 의미다.

 

그리고 그 변화량은 Error를 weight vector u 에 대하여 편미분하고,

learning rate alpha를 곱한 결과에 minus 를 취하는 것을 말한다.

 

$$ {\Large \Delta u\ =\ -\alpha \frac{\partial E}{\partial u}} $$

$$\alpha\ :\ learning\ rate$$

$$\partial\ :\ partial\ derivative\ (편미분)$$

$$E\ : Error(Objective\ Function\ or\ Loss)$$

 

참고로, 편미분(partial derivative) 기호는 "rounded d" 또는 "curly d" 로 읽혀진다.

 

1 - 2. 대문자 Delta 는 "Laplace operater" 로 사용되기도 한다.

 

$$ {\Large \Delta f\ =\ \sum_{i\ =\ 1}^n \frac{\partial ^2 f}{\partial x_{i}^2}}$$

 

라플라스 연산자 - 위키백과, 우리 모두의 백과사전

Laplacian Operator

 

1 - 3. 대문자 Delta 는 이차 다항식 (quadratic polynomial)의 "판별식(discriminant)"으로 사용되기도 한다.

 

$$ {\Large ax^2\ +\ bx\ +\ c\ with\ a\ \ne\ 0 }$$

$$ {\Large \Delta\ =\ b^2\ -4ac} $$

 

위의 식처럼, 판별식을 통해 근의 유무를 알 수 있다.

 

---

2. 소문자 델타(delta, δ)

 

$${\Huge \delta}$$

 

소문자 델타는 일반적으로 값의 작은 차이를 나타낸다.

수식적으로 다른 의미를 가지기도 한다.

 

2 - 1. 소문자 delta 는 "Functional derivative" 로 사용되기도 한다.

 

Functional derivative - Wikipedia

 

 

---

참고

https://en.wikipedia.org/wiki/Delta_(letter)