모끼의 딥러닝 공부

* 이 글은 Stanford 대학의 CS231n 강의를 듣고 요약한 글입니다. 1. GAN의 network 구조 GAN은 SOTA Generative model이다. 앞서 언급한 PixelRNN/CNN, VAE와 무슨 차이가 있냐면.. PixelCNN에서는 P(x) 식을 Chain Rule을 이용하여 직접 정의하였다. VAE에서는 latent variable z를 이용하여 P(x)를 간접적으로 표현하였고, 이를 계산하기 위해 Lower Bound를 최적화 하였다. GAN에서는? P(x)를 수식으로 정의하려고 하지 않는다. 대신에 게임 이론의 방식을 취하여, implicit하게(수식으로 직접 정의하지 않고) training distribution을 학습하고자 한다. 그럼 어떻게 implicit 하게 tra..

* 이 글은 Stanford 대학의 CS231n 강의를 듣고 요약한 글입니다. 1. AutoEncoder(AE) AutoEncoder는 데이터 생성 모델이 아닌, 학습 데이터에 대해 보다 낮은 차원의 feature representation을 학습하는 것이 목적이다. 구조는 아래 그림과 같다. 즉, input data x 그 자체를 label로 삼아 저차원의 feature z를 학습하겠다는 것이다. 학습에 쓰이는 Encoder와 Decoder로는 Linear + nonlinearlity(sigmoid), fully connected, ReLU CNN 등이 사용된다. 입력 데이터를 있는 그대로 복원해야 하기 때문에 L2 loss function(x와 reconstructed x의 차의 제곱)을 통하여 최적..