[ML] Kernel Density Estimation (KDE)와 Kernel Regression (KR)

I. Kernel Density Estimation (KDE)

 

KDE는 kernel 함수를 이용해 확률밀도함수를 추정하는 방법이다. 하나의 예시로, 길거리에의 범죄 발생량을 나타낸 데이터가 있다고 하자.

 

Crime	Location
1	15
2	12
3	10
...	...

 

이 데이터를 이용해, 길거리 각 지점에서의 범죄 발생 가능성을 추정하고 싶다고 하자. 특정 지점에서 범죄가 발생했다면, 그 근처에도 범죄가 발생했을 확률이 높다고 할 수 있다.

 

따라서 우리는 과거에 범죄가 발생했던 위치마다 kernel을 쌓고, 이를 모두 더하여 범죄율에 대한 밀도함수(KDE)를 추정할 수 있다.

 

$\hat{f}_h(x)=\frac{q}{nh}\sum_{i-1}^nK(\frac{x-x_i}{h})$

 

 

Kernel 함수 $K$를 어떻게 설정하느냐에 따라 KDE의 모양도 바뀐다. 좁은 kernel 함수를 이용하면 KDE는 뾰족해질 것이고, 넓은 kernel 함수를 사용하면 KDE는 매끄러운 형태가 될 것이다. KDE가 overfitting/underfitting 되지 않도록 kernel 함수의 bandwidth를 잘 조절해야 한다.

 

아래는 kernel함수의 bandwidth와 kernel함수의 종류에 따른 KDE의 형태를 보여주는 그림이다.

 

Gaussian kernel을 이용했을 때 bandwidth에 따른 KDE의 차이

 

Rectangular kernel을 이용했을 때 bandwidth에 따른 KDE의 차이

 

---

 

II. Kernel Regression (KR)

 

Kernel Regression은 non-parametric한 regression방법으로, kernel 함수를 이용해 유사한 지점들의 weighted average로 추정값을 예측한다.

 

특정한 지점에서의 예측값의 기댓값 $g(x)$를 다음과 같이 표현할 수 있다.

 

$g(x) = E(Y|X=x)=\intyf(y|x)dy$

 

Bayes' rule에 따르면 다음과 같다.

 

$\int yf(y|x)dy = \int\frac{yf(x,y)dy}{f(x)}$

 

위 식에서 $f(x,y)$와 $f(x)$를 kernel 함수로 대체하면 다음과 같다.

 

$\hat{g}(x) = \int\frac{\sum_{i=1}^ny_iK(\frac{x-x_i)}{h}}{\sum_{i=1}^nK(\frac{x-x_i)}{h}}$

 

이는 각 data point로부터 예측할 지점까지의 거리에 비례하여 가중치를 준 weighted average 값이라고 볼 수 있다.

 

 

 

출처: https://rpubs.com/sandipan/238698