IBOK

Transformer을 구성하는 Multi-Head Self-Attention layer는 permutation equivariant한 특성을 갖기 때문에, postitional encoding이 필수적으로 필요하다. Transformer에서 사용하는 positional encoding 우선, Transformer에서 사용하는 positional encoding의 식은 다음과 같다. $PE_{(pos,2i)}=sin(pos/10000^{2i/d_{model}})$ $PE_{(pos,2i+1)}=cos(pos/10000^{2i/d_{model}})$ 이를 풀어 쓰면 다음과 같은 형태를 갖게 되고, 이를 시각화하면 다음과 같다. 본 글에서는 왜 transformer의 positional encoding이 이..

I. Kernel Density Estimation (KDE) KDE는 kernel 함수를 이용해 확률밀도함수를 추정하는 방법이다. 하나의 예시로, 길거리에의 범죄 발생량을 나타낸 데이터가 있다고 하자. Crime Location 1 15 2 12 3 10 ... ... 이 데이터를 이용해, 길거리 각 지점에서의 범죄 발생 가능성을 추정하고 싶다고 하자. 특정 지점에서 범죄가 발생했다면, 그 근처에도 범죄가 발생했을 확률이 높다고 할 수 있다. 따라서 우리는 과거에 범죄가 발생했던 위치마다 kernel을 쌓고, 이를 모두 더하여 범죄율에 대한 밀도함수(KDE)를 추정할 수 있다. $\hat{f}_h(x)=\frac{q}{nh}\sum_{i-1}^nK(\frac{x-x_i}{h})$ Kernel 함수 $K..

Input channel이 1이고, output channel도 1인 경우는 단순히 single-channel image에 convolution을 하고 bias term을 더해주면 된다. 아래 그림에서는 bias term은 생략됐지만, 2*2 kernel을 사용하고 추가로 bias term이 하나 있으니 이 경우 총 parameter 수는 5이다. 그러나 실제로 deep learning model에 convolution layer을 이용할 때에는 input channel의 수도 여러 개이고, output channel의 수도 여러 개인 경우가 많다. 이 경우 parameter 개수를 계산하는 법을 설명하겠다. Input channel의 수를 $C_{in}$, output channel의 수를 $C_{ou..

heartbeat.fritz.ai/5-regression-loss-functions-all-machine-learners-should-know-4fb140e9d4b0 의 일부를 번역 & 요약한 글 MSE Loss and MAE Loss MSE(Mean Squared Loss, L2 Loss)는 Error의 제곱의 평균을 낸 값입니다. 수식으로 나타내면 아래와 같습니다. 다음은 True value를 100이라고 했을 때 Predicted value를 -10,000에서 10,000까지 변화시켜 가며 그린 그래프입니다. x축은 Predicted value, y축은 MSE Loss의 값을 나타냅니다. MAE(Mean Absolute Loss, L1 Loss)는 Error의 절대값의 평균을 낸 값입니다. 수식으로..