R-CNNs Tutorial

INTRODUCTION Object detection은 입력 영상이 주어졌을 때, 영상 내에 존재하는 모든 카테고리에 대해서 classification과 localization을 수행하는 것을 말합니다. 입력 영상에 따라 존재하는 물체의 개수가 일정하지 않고 0~N개로 변하기 때문에 난이도가 높은 task로 알려져 있습니다. 본 글에서는 convolutional neural network(CNN) 기반의 object detection 중에서 높은 성능과 빠른 속도로 큰 주목을 받고 있는 region based CNN의 흐름을…

Read More

Learning Graphical State Transitions

INTRODUCTION: 우리가 접하는 많은 데이타들중에는 그래프 형태로 표현될 수 있는 데이타들이 있습니다. 예를들어 지하철 노선도나 chemical molecule, 혹은 data structure들이 될 수 있겠죠. 그런 데이타들에서 특정 정보를 뽑는다고 할때 (eg. 지하철 노선도에서의 최단거리), 데이타가 그래프화 되어 있다면 정보를 취득하기 훨씬 쉬울 것입니다. 이번에 소개시켜드리는 “Learning Graphical State Transitions” 논문은 ICLR 2017 oral paper에 선정되었으며, unstructured…

Read More

Optimization as a Model for Few-Shot Learning

INTRODUCTION: One-Shot/Few-Shot learning 이란, 저번 포스트 “Siamese One-Shot Learners and Feed-Forward One-Shot Learners”에 소개 되었듯이, 적은 수의 example들로부터 그 example들에 대하여 (보통의 classification 문제에서는 example의 클래스에 대하여) generalize할수 있는 모델을 만드는 문제입니다 – Few-Shot learning에 대한 더 자세한 설명은 지난 포스트를 참조하시길 바랍니다. 이번에 소개시켜드리는 “Optimization as a Model for Few-Shot Learning” 논문은 ICLR 2017에…

Read More

Style Transfer

Introduction Style transfer란, 두 영상(content image & style image)이 주어졌을 때 그 이미지의 주된 형태는 content image와 유사하게 유지하면서 스타일만 우리가 원하는 style image와 유사하게 바꾸는 것을 말합니다. 위 그림에서는 주택사진을 content image로 주고 다른 화가의 작품들을 style image로 주었는데, 주택의 형태와 배치는 유지되면서 화풍만 각 작품과 유사하게 바뀐 것을 볼 수 있습니다. Neural network를…

Read More

Back-Projecting High-Level Activations

Introduction CNN을 사용해 주어진 task를 수행할 때 우리는 주어진 high-level activation map의 각 activation이 입력 이미지의 어느 영역에서 기원한 것인지 종종 추적해야 할 때가 있다. 이는 CNN 모델의 구조 및 종류와 관계 없이 주로 다음과 같은 상황에서 필요하다. CNN의 동작 원리를 시각화하여 이해하려고 할때. 적절한 receptive field size를 고려해 CNN을 설계할 때. Class-level label만으로 학습한…

Read More

Neural GPUs and Extended Neural GPUs

Title: Neural GPUs Learn Algorithms Can Active Memory Replace Attention? Overview: Google Brain 팀에서 ICLR 2016, NIPS 2016에서 발표한 두 개의 논문, Neural GPU와 그 extension에 관한 소개를 드리려고 합니다.  이 전 포스팅 Learning To Remember Rare Events에서 (key, value) 타입의 memory module을 기존의 다양한 supervised neural network model에 적용했었는데요, 그 중 하나의 model이 extended…

Read More

Learning to Remember Rare Events

Title: Learning to Remember Rare Events Overview: Google Brain 팀에서 ICLR 2017에서 발표할 본 논문은 memory-augmented neural network (MANN)에 관한 논문입니다. 기존의 MANN들은 rare event에 대한 generalization performance 측면에서 한계점을 갖고 있는데요, 본 논문에서는 그러한 단점을 극복하기 위한 새로운 memory module을 제안합니다. 제안하는 memory module은 구조상 확장성이 좋아서, 다양한 종류의 supervised NN 모델에 쉽게 추가할…

Read More