모끼의 딥러닝 공부

아래 references의 자료들을 공부하고 짧게 정리한 내용입니다! 저도 공부하면서 정리한 내용이라 틀린 것이 있다면 언제든 댓글 달아주신다면 감사하겠습니다~ :D____ 1.  Reparameterization Trick모델을 학습시킬 때 주어진 데이터셋이 아닌, parameterized된 모델로부터 data를 sampling해서 학습하는 경우가 있다:  이런 경우 그냥 pθ(x)에서 데이터를 샘플링해서 쓰면 되나?? 라는 생각이 들겠지만 gradient를 구해보면 문제가 생긴 것을 알 수 있다.  위 식과 같이 gradient를 구해보면, 오른쪽 항의 경우 pθ(x)에 대한 expectation으로 정리가 되지만, 왼쪽 항의 경우는 pθ(x)에 대한 expectation으로 정리되지 않는다. gra..

이번 포스팅에서는 loss function으로 많이 사용되는 KL divergence 및 cross-entropy에 대해 정리해 보려고 합니다!  1. forward KLKL divergence는 확률 분포 간 거리를 재는 척도로 data distribution p(x)와 model distribution q(x) 간의 거리를 잴 수 있기 때문에 loss function으로 많이 사용한다. KL divergence는 확률 분포를 대입하는 순서에 따라 값이 달라지는데, 먼저 forward KL 수식은 다음과 같다:  위 수식에서는 알아보기 쉽도록 data distribution p(x)=p^(x)로, model distribution q(x)=pθ(x)로 표기했다. data distribution은 실제 ..

[References]: CS229 4강을 듣고 정리한 내용입니다~https://www.youtube.com/playlist?list=PLoROMvodv4rMiGQp3WXShtMGgzqpfVfbU Stanford CS229: Machine Learning Full Course taught by Andrew Ng | Autumn 2018Led by Andrew Ng, this course provides a broad introduction to machine learning and statistical pattern recognition. Topics include: supervised learning (gen...www.youtube.com 일부 내용은 위 probabilistic graphical m..

이번 포스팅에서는 가장 기본적이지만 놓치기 쉬운 probability distribution에 대해 간단히 정리해봤습니다! 각 distribution에서의 pdf식 및 MLE로 optimize했을 때 얻는 결과값들을 정리하고, 마지막으로는 각 distribution의 conjugate prior에 대해 정리해봤습니다. 맨 아래 references 블로그에서 PRML책에 대해 정리해놓았는데, 대부분 이 내용 및 PRML 책을 참조했습니다. 저도 공부하면서 정리한 내용이라 부족한 점이 있다면 댓글로 달아주신다면 감사하겠습니다~ :) 목차:Discrete variablesBernoulli distributionMultinomial distributionContinuous variablesUni-variate..