모끼의 딥러닝 공부

아래 references의 자료들을 공부하고 짧게 정리한 내용입니다! 저도 공부하면서 정리한 내용이라 틀린 것이 있다면 언제든 댓글 달아주신다면 감사하겠습니다~ :D____ 1.  Reparameterization Trick모델을 학습시킬 때 주어진 데이터셋이 아닌, parameterized된 모델로부터 data를 sampling해서 학습하는 경우가 있다:  이런 경우 그냥 pθ(x)에서 데이터를 샘플링해서 쓰면 되나?? 라는 생각이 들겠지만 gradient를 구해보면 문제가 생긴 것을 알 수 있다.  위 식과 같이 gradient를 구해보면, 오른쪽 항의 경우 pθ(x)에 대한 expectation으로 정리가 되지만, 왼쪽 항의 경우는 pθ(x)에 대한 expectation으로 정리되지 않는다. gra..

아래 references의 강의 및 자료들을 공부하고 짧게 정리한 내용입니다! 저도 공부하면서 정리한 내용이라 틀린 것이 있다면 언제든 댓글 달아주신다면 감사하겠습니다~ :D____1. Why Variational Inference?앞서 Sampling Methods 포스팅에서 언급했듯이, 대부분의 inference problem은 intractable하다. Inference problem이란, 구하고자 하는 distribution p(x)가 주어졌을 때 어떤 statistics를 계산하는 것이다. 예시로는 다음과 같은 경우가 있다:  대부분의 경우 첫번째와 같이 p(x)만을 남기기 위해 다른 random variable에 대해 marginalize하거나, 두번째와 같이 posterior를 구하기 위해 ..

아래 references의 강의 및 자료들을 공부하고 짧게 정리한 내용입니다! 저도 공부하면서 정리한 내용이라 틀린 것이 있다면 언제든 댓글 달아주신다면 감사하겠습니다~ :D[Preliminary: Probability Review]https://ermongroup.github.io/cs228-notes/preliminaries/probabilityreview/ Probability ReviewProbability Review We provide a review of probability concepts. Some of the review materials have been adapted from CS229 Probability Notes and STATS310 Probability Theory Note..

* 이 글은 Stanford 대학의 CS231n 강의를 듣고 요약한 글입니다. 1. AutoEncoder(AE) AutoEncoder는 데이터 생성 모델이 아닌, 학습 데이터에 대해 보다 낮은 차원의 feature representation을 학습하는 것이 목적이다. 구조는 아래 그림과 같다. 즉, input data x 그 자체를 label로 삼아 저차원의 feature z를 학습하겠다는 것이다. 학습에 쓰이는 Encoder와 Decoder로는 Linear + nonlinearlity(sigmoid), fully connected, ReLU CNN 등이 사용된다. 입력 데이터를 있는 그대로 복원해야 하기 때문에 L2 loss function(x와 reconstructed x의 차의 제곱)을 통하여 최적..