INTRODUCTION: 우리가 접하는 많은 데이타들중에는 그래프 형태로 표현될 수 있는 데이타들이 있습니다. 예를들어 지하철 노선도나 chemical molecule, 혹은 data structure들이 될 수 있겠죠. 그런 데이타들에서 특정 정보를 뽑는다고 할때 (eg. 지하철 노선도에서의 최단거리), 데이타가 그래프화 되어 있다면 정보를 취득하기 훨씬 쉬울 것입니다. 이번에 소개시켜드리는 “Learning Graphical State Transitions” 논문은 ICLR 2017 oral paper에 선정되었으며, unstructured…
Read MoreOptimization as a Model for Few-Shot Learning
INTRODUCTION: One-Shot/Few-Shot learning 이란, 저번 포스트 “Siamese One-Shot Learners and Feed-Forward One-Shot Learners”에 소개 되었듯이, 적은 수의 example들로부터 그 example들에 대하여 (보통의 classification 문제에서는 example의 클래스에 대하여) generalize할수 있는 모델을 만드는 문제입니다 – Few-Shot learning에 대한 더 자세한 설명은 지난 포스트를 참조하시길 바랍니다. 이번에 소개시켜드리는 “Optimization as a Model for Few-Shot Learning” 논문은 ICLR 2017에…
Read MoreRecent Exploration into Imbalanced Dataset Problem
In this post, we will explore into some of the more recent imbalanced dataset studies. Imbalanced Data Problem: In machine learning it is one of common problems one may come across while training a dataset that the accuracy performance is extremely good but it only seemed so due to the dataset distribution of one class being far greater…
Read MoreSiamese One-Shot Learners and Feed-Forward One-Shot Learners
Have a look at this object (try to forget that its a cup for a moment =p ) , And a series of other objects (credit to Google’s image search on word “cup”), Are you able to agree that the sky blue object above and all the series of other objects seen on the figure above…
Read MoreNeural GPUs and Extended Neural GPUs
Title: Neural GPUs Learn Algorithms Can Active Memory Replace Attention? Overview: Google Brain 팀에서 ICLR 2016, NIPS 2016에서 발표한 두 개의 논문, Neural GPU와 그 extension에 관한 소개를 드리려고 합니다. 이 전 포스팅 Learning To Remember Rare Events에서 (key, value) 타입의 memory module을 기존의 다양한 supervised neural network model에 적용했었는데요, 그 중 하나의 model이 extended…
Read MoreLearning to Remember Rare Events
Title: Learning to Remember Rare Events Overview: Google Brain 팀에서 ICLR 2017에서 발표할 본 논문은 memory-augmented neural network (MANN)에 관한 논문입니다. 기존의 MANN들은 rare event에 대한 generalization performance 측면에서 한계점을 갖고 있는데요, 본 논문에서는 그러한 단점을 극복하기 위한 새로운 memory module을 제안합니다. 제안하는 memory module은 구조상 확장성이 좋아서, 다양한 종류의 supervised NN 모델에 쉽게 추가할…
Read MoreNeural Episodic Control
Title: Neural Episodic Control Overview: Neural network을 활용한 reinforcement learning (DQN)으로 유명한 DeepMind에서 최근 arXiv에 공개한 neural episodic control (NEC) 논문에 대해 소개합니다. NN + RL = DQN 이라면, DQN + dictionary(memory) = NEC 라고 생각할 수 있습니다. DQN을 비롯한 다양한 deep reinforcement learning 연구들은, human-level performance에 도달하는데까지 걸리는 “학습시간” 및 학습에 필요한 “데이터 (experience)”의…
Read More