Courses/Probabilistic Graphical Model 6

[4-2] Model Inference: Variational Inference (+connection to VAE, RL)

아래 references의 강의 및 자료들을 공부하고 짧게 정리한 내용입니다! 저도 공부하면서 정리한 내용이라 틀린 것이 있다면 언제든 댓글 달아주신다면 감사하겠습니다~ :D____1. Why Variational Inference?앞서 Sampling Methods 포스팅에서 언급했듯이, 대부분의 inference problem은 intractable하다. Inference problem이란, 구하고자 하는 distribution p(x)가 주어졌을 때 어떤 statistics를 계산하는 것이다. 예시로는 다음과 같은 경우가 있다:  대부분의 경우 첫번째와 같이 p(x)만을 남기기 위해 다른 random variable에 대해 marginalize하거나, 두번째와 같이 posterior를 구하기 위해 ..

[4-1] Model Inference: Sampling Methods(MCMC, Gibbs sampling)

아래 references의 강의 및 자료들을 공부하고 짧게 정리한 내용입니다! 저도 공부하면서 정리한 내용이라 틀린 것이 있다면 언제든 댓글 달아주신다면 감사하겠습니다~ :D____ 만약 왼쪽 그림과 같은 변수들 간의 관계가 주어지고 분포 p(x)를 inference해야 한다면, 먼저 joint probability p(x, y, z) = p(x|y,z) p(z|y) p(y)를 계산한 뒤 y, z에 대해 marginalize하는 방식을 사용한다. 이 때 각각의 conditional probability를 모두 구할 수 있고 y,z에 대한 marginalization(적분)을 연산할 수 있다면 exact inference가 가능하다. 주로 p(x)가 gaussian과 같이 연산 가능한 형태를 가지고 있다고..

[3-2] Model Learning: EM algorithm

아래 references의 강의 및 자료들을 공부하고 짧게 정리한 내용입니다! 저도 공부하면서 정리한 내용이라 틀린 것이 있다면 언제든 댓글 달아주신다면 감사하겠습니다~ :D____ 지난번 포스팅 PGM learning 3-1편 에서는 fully-observed graphical model일 때의 대표적인 learning 방식인 maximum likelihood estimation에 대해서 살펴보았다. 이번 포스팅에서는 paritally-observed GM(VAE와 같이 hidden variable을 사용하는 경우)에서의 learning 방식인 EM algorithm에 대해 살펴보려고 한다! 1. Parameter learning for partially observed GM1.1 Why latent..

[3-1] Model Learning: Maximum likelihood estimation (MLE)

아래 references의 강의 및 자료들을 공부하고 짧게 정리한 내용입니다! 저도 공부하면서 정리한 내용이라 틀린 것이 있다면 언제든 댓글 달아주신다면 감사하겠습니다~ :D____  이번 및 다음 포스팅에서는 fully-observed graphical model일 때와 partially-observed graphical model일 때의 learning방법에 대해 살펴보려고 한다. fully-observed GM의 경우 일반적으로 우리가 사용하는 classification model과 유사하게 생각하면 되는데, input random variable x1, ..., xn을 모두 관측할 수 있는 경우이다. paritally-observed GM의 경우 VAE와 같이 hidden variable을 사용하..

[2] PGM Representations: definition of p(x) by converting energy into probability

아래 references의 강의 및 자료들을 공부하고 짧게 정리한 내용입니다! 저도 공부하면서 정리한 내용이라 틀린 것이 있다면 언제든 댓글 달아주신다면 감사하겠습니다~ :D____  앞서 PGM 포스팅 1편에서는 probabilistic graphical model의 overview 및 application에 대해 살펴보았다. 이번 포스팅에서는 probabilistic graphical model에서 multivariate distribution p(x) = p(x1, x2, ..., xn)을 어떻게 정의할 것인지 살펴보려고 한다.  PGM에서는 크게 두 가지 경우를 구분하여 probability distribution을 modeling한다:graph에 방향성이 없을 때 (undirected GM): ..

[1] Probabilistic Graphical Model Overview

아래 references의 강의 및 자료들을 공부하고 짧게 정리한 내용입니다! 저도 공부하면서 정리한 내용이라 틀린 것이 있다면 언제든 댓글 달아주신다면 감사하겠습니다~ :D[Preliminary: Probability Review]https://ermongroup.github.io/cs228-notes/preliminaries/probabilityreview/ Probability ReviewProbability Review We provide a review of probability concepts. Some of the review materials have been adapted from CS229 Probability Notes and STATS310 Probability Theory Note..

1