* 이 글은 Stanford 대학의 CS231n 강의를 듣고 요약한 글입니다. 1. AutoEncoder(AE) AutoEncoder는 데이터 생성 모델이 아닌, 학습 데이터에 대해 보다 낮은 차원의 feature representation을 학습하는 것이 목적이다. 구조는 아래 그림과 같다. 즉, input data x 그 자체를 label로 삼아 저차원의 feature z를 학습하겠다는 것이다. 학습에 쓰이는 Encoder와 Decoder로는 Linear + nonlinearlity(sigmoid), fully connected, ReLU CNN 등이 사용된다. 입력 데이터를 있는 그대로 복원해야 하기 때문에 L2 loss function(x와 reconstructed x의 차의 제곱)을 통하여 최적..