Unsupervised Anomaly Detection with GANs to Guide Marker Discovery

현실적으로 상당히 중요한 문제를 GAN을 이용하여 해결한 논문이 나와 공유합니다. 이 논문에서 다루는 문제는 anomaly detection 입니다. 말그대로 정상치에서 벗어난 관측치들을 detect하겠다는 것이지요. One-class classification 혹은 one-class description이라고 부르기도 합니다. 이 anomaly detection 문제는 실제 여러 application에서 중요한 의미를 갖습니다. 보통 현실에서는 비정상 관측치가 거의 없는 경우가 많기 때문이지요. 예를 들어, 제조 공정에서 수집되는 데이터들을…

Read More

Deep Laplacian Pyramid Networks for Single Image Super-Resolution

Introduction Single image super-resolution 문제는 low-resolution 영상 1장을 input으로 받았을때 원본의 high-resolution영상으로 복원하는 문제입니다. 요즘 CNN을 이용하여 Single image super-resolution (SISR) 문제를 풀어내는 논문들을 보면, 점점 더 깊은 네트워크 구조를 사용하는 추세를 보입니다. 이번에는 기존의 SISR 문제를 해결하는데 소개된 네트워크 구조 몇가지를 간단히 살펴보고, CVPR 2017에 accept된 가장 최신의 CNN을 활용해서 SISR문제를 풀어나간 논문을 살펴보며…

Read More

Video Prediction Beyond Mean Square Error

INTRODUCTION 예측된 결과 영상을 만들어내는 네크워크를학습시킬때 mean square error (MSE)는 ground truth 영상과 predict된 영상을 직접적으로 비교하는 loss 함수로써 손쉽게 사용되곤 합니다. 하지만 이렇게 학습시킨 네트워크의 경우에는 예측된 결과 영상이 ground truth 영상과는 다르게 blurry 한 결과를 만들어 낸다는 문제점을 보였습니다. 이러한 문제를 해결하기 위하여 새로운 loss 함수들 (GAN loss, GDL loss)를 소개하고 서로 다른…

Read More

Learning Graphical State Transitions

INTRODUCTION: 우리가 접하는 많은 데이타들중에는 그래프 형태로 표현될 수 있는 데이타들이 있습니다. 예를들어 지하철 노선도나 chemical molecule, 혹은 data structure들이 될 수 있겠죠. 그런 데이타들에서 특정 정보를 뽑는다고 할때 (eg. 지하철 노선도에서의 최단거리), 데이타가 그래프화 되어 있다면 정보를 취득하기 훨씬 쉬울 것입니다. 이번에 소개시켜드리는 “Learning Graphical State Transitions” 논문은 ICLR 2017 oral paper에 선정되었으며, unstructured…

Read More

Optimization as a Model for Few-Shot Learning

INTRODUCTION: One-Shot/Few-Shot learning 이란, 저번 포스트 “Siamese One-Shot Learners and Feed-Forward One-Shot Learners”에 소개 되었듯이, 적은 수의 example들로부터 그 example들에 대하여 (보통의 classification 문제에서는 example의 클래스에 대하여) generalize할수 있는 모델을 만드는 문제입니다 – Few-Shot learning에 대한 더 자세한 설명은 지난 포스트를 참조하시길 바랍니다. 이번에 소개시켜드리는 “Optimization as a Model for Few-Shot Learning” 논문은 ICLR 2017에…

Read More

Neural GPUs and Extended Neural GPUs

Title: Neural GPUs Learn Algorithms Can Active Memory Replace Attention? Overview: Google Brain 팀에서 ICLR 2016, NIPS 2016에서 발표한 두 개의 논문, Neural GPU와 그 extension에 관한 소개를 드리려고 합니다.  이 전 포스팅 Learning To Remember Rare Events에서 (key, value) 타입의 memory module을 기존의 다양한 supervised neural network model에 적용했었는데요, 그 중 하나의 model이 extended…

Read More

Learning to Remember Rare Events

Title: Learning to Remember Rare Events Overview: Google Brain 팀에서 ICLR 2017에서 발표할 본 논문은 memory-augmented neural network (MANN)에 관한 논문입니다. 기존의 MANN들은 rare event에 대한 generalization performance 측면에서 한계점을 갖고 있는데요, 본 논문에서는 그러한 단점을 극복하기 위한 새로운 memory module을 제안합니다. 제안하는 memory module은 구조상 확장성이 좋아서, 다양한 종류의 supervised NN 모델에 쉽게 추가할…

Read More