Recent Exploration into Imbalanced Dataset Problem

In this post, we will explore into some of the more recent imbalanced dataset studies. Imbalanced Data Problem: In machine learning it is one of common problems one may come across while training a dataset that the accuracy performance is extremely good but it only seemed so due to the dataset distribution of one class being far greater … Continue reading Recent Exploration into Imbalanced Dataset Problem

Siamese One-Shot Learners and Feed-Forward One-Shot Learners.

Have a look at this object (try to forget that its a cup for a moment =p ) , And a series of other objects (credit to Google's image search on word "cup"), Are you able to agree that the sky blue object above and all the series of other objects seen on the figure above … Continue reading Siamese One-Shot Learners and Feed-Forward One-Shot Learners.

Style transfer

Introduction Style transfer란, 두 영상(content image & style image)이 주어졌을 때 그 이미지의 주된 형태는 content image와 유사하게 유지하면서 스타일만 우리가 원하는 style image와 유사하게 바꾸는 것을 말합니다. 위 그림에서는 주택사진을 content image로 주고 다른 화가의 작품들을 style image로 주었는데, 주택의 형태와 배치는 유지되면서 화풍만 각 작품과 유사하게 바뀐 것을 볼 수 있습니다. Neural network를 … Continue reading Style transfer

Back-Projecting High-Level Activations

Introduction CNN을 사용해 주어진 task를 수행할 때 우리는 주어진 high-level activation map의 각 activation이 입력 이미지의 어느 영역에서 기원한 것인지 종종 추적해야 할 때가 있다. 이는 CNN 모델의 구조 및 종류와 관계 없이 주로 다음과 같은 상황에서 필요하다. CNN의 동작 원리를 시각화하여 이해하려고 할때. 적절한 receptive field size를 고려해 CNN을 설계할 때. Class-level label만으로 학습한 … Continue reading Back-Projecting High-Level Activations

Neural GPUs and Extended Neural GPUs

Title: Neural GPUs Learn Algorithms Can Active Memory Replace Attention? Overview: Google Brain 팀에서 ICLR 2016, NIPS 2016에서 발표한 두 개의 논문, Neural GPU와 그 extension에 관한 소개를 드리려고 합니다.  이 전 포스팅 Learning To Remember Rare Events에서 (key, value) 타입의 memory module을 기존의 다양한 supervised neural network model에 적용했었는데요, 그 중 하나의 model이 extended … Continue reading Neural GPUs and Extended Neural GPUs

Learning to Remember Rare Events

Title: Learning to Remember Rare Events Overview: Google Brain 팀에서 ICLR 2017에서 발표할 본 논문은 memory-augmented neural network (MANN)에 관한 논문입니다. 기존의 MANN들은 rare event에 대한 generalization performance 측면에서 한계점을 갖고 있는데요, 본 논문에서는 그러한 단점을 극복하기 위한 새로운 memory module을 제안합니다. 제안하는 memory module은 구조상 확장성이 좋아서, 다양한 종류의 supervised NN 모델에 쉽게 추가할 … Continue reading Learning to Remember Rare Events

Neural Episodic Control

Title: Neural Episodic Control Overview: Neural network을 활용한 reinforcement learning (DQN)으로 유명한 DeepMind에서 최근 arXiv에 공개한 neural episodic control (NEC) 논문에 대해 소개합니다. NN + RL = DQN 이라면, DQN + dictionary(memory) = NEC 라고 생각할 수 있습니다. DQN을 비롯한 다양한  deep reinforcement learning 연구들은, human-level performance에 도달하는데까지 걸리는 "학습시간" 및 학습에 필요한 "데이터 (experience)"의 … Continue reading Neural Episodic Control