모끼의 딥러닝 공부

---아직 작성중 입니다:D--- * 이 글은 서울대학교 최진영 교수님의 Graph Convolution Networks 강의를 듣고 요약한 글입니다! 좋은 강의를 들려주신 최진영 교수님께 감사합니다. :) 앞서 GCN 1편 포스팅에서는 graph theory에서 맨 처음 마주하는 laplacian, fourier transform에 대해서 알아보았다면 이번 포스팅에서는 이를 기반으로 GNN model들이 어떻게 발전해왔는지 정리해보고자 합니다!! :D 먼저 spectral domain에서 convolution 연산을 수행하는 Spectral GCN을 시작으로, Spectral GCN에서 사용되는 fourier coefficient의 polynomial식을 더 stable하게 개조한 ChebNet, 마지..

* 이 글은 서울대학교 최진영 교수님의 Graph Convolution Networks 강의를 듣고 요약한 글입니다! 좋은 강의를 들려주신 최진영 교수님께 감사합니다. :) Graph Neural Network를 공부하다 보면, 시작부터 Graph Laplacian과 Fourier Transform을 마주할 수 있게 됩니다. ㅠㅠ 이 글에서는 Graph Laplacian과 Fourier Transform이 왜 필요한지, 그 내용은 무엇인지에 대해서 이야기하도록 하겠습니다! 저도 수학을 잘 몰라서(ㅠㅠ), GNN을 사용하는 데 가장 필요하다고 생각되는 기본적인 내용 위주로 다루도록 하겠습니다. 또한 기본적인 graph의 구조(node, edge)에 대해서는 안다고 가정하고 설명하도록 하겠습니다. 1. Gr..

* 이 글은 Stanford 대학의 CS231n 강의를 듣고 요약한 글입니다. 1. GAN의 network 구조 GAN은 SOTA Generative model이다. 앞서 언급한 PixelRNN/CNN, VAE와 무슨 차이가 있냐면.. PixelCNN에서는 P(x) 식을 Chain Rule을 이용하여 직접 정의하였다. VAE에서는 latent variable z를 이용하여 P(x)를 간접적으로 표현하였고, 이를 계산하기 위해 Lower Bound를 최적화 하였다. GAN에서는? P(x)를 수식으로 정의하려고 하지 않는다. 대신에 게임 이론의 방식을 취하여, implicit하게(수식으로 직접 정의하지 않고) training distribution을 학습하고자 한다. 그럼 어떻게 implicit 하게 tra..

* 이 글은 Stanford 대학의 CS231n 강의를 듣고 요약한 글입니다. 1. AutoEncoder(AE) AutoEncoder는 데이터 생성 모델이 아닌, 학습 데이터에 대해 보다 낮은 차원의 feature representation을 학습하는 것이 목적이다. 구조는 아래 그림과 같다. 즉, input data x 그 자체를 label로 삼아 저차원의 feature z를 학습하겠다는 것이다. 학습에 쓰이는 Encoder와 Decoder로는 Linear + nonlinearlity(sigmoid), fully connected, ReLU CNN 등이 사용된다. 입력 데이터를 있는 그대로 복원해야 하기 때문에 L2 loss function(x와 reconstructed x의 차의 제곱)을 통하여 최적..