variational inference 2

[4-2] Model Inference: Variational Inference (+connection to VAE, RL)

아래 references의 강의 및 자료들을 공부하고 짧게 정리한 내용입니다! 저도 공부하면서 정리한 내용이라 틀린 것이 있다면 언제든 댓글 달아주신다면 감사하겠습니다~ :D____1. Why Variational Inference?앞서 Sampling Methods 포스팅에서 언급했듯이, 대부분의 inference problem은 intractable하다. Inference problem이란, 구하고자 하는 distribution p(x)가 주어졌을 때 어떤 statistics를 계산하는 것이다. 예시로는 다음과 같은 경우가 있다:  대부분의 경우 첫번째와 같이 p(x)만을 남기기 위해 다른 random variable에 대해 marginalize하거나, 두번째와 같이 posterior를 구하기 위해 ..

[3-2] Model Learning: EM algorithm

아래 references의 강의 및 자료들을 공부하고 짧게 정리한 내용입니다! 저도 공부하면서 정리한 내용이라 틀린 것이 있다면 언제든 댓글 달아주신다면 감사하겠습니다~ :D____ 지난번 포스팅 PGM learning 3-1편 에서는 fully-observed graphical model일 때의 대표적인 learning 방식인 maximum likelihood estimation에 대해서 살펴보았다. 이번 포스팅에서는 paritally-observed GM(VAE와 같이 hidden variable을 사용하는 경우)에서의 learning 방식인 EM algorithm에 대해 살펴보려고 한다! 1. Parameter learning for partially observed GM1.1 Why latent..

1