[CVPR 2017 Oral] Deep Reinforcement Learning based Image Captioning with Embedding Reward

안녕하세요, 이번 포스트에서는 제가 주로 연구했었던 Vision&Language 관련 논문을 리뷰해볼까 합니다. 일단 기본적으로, Vision & Language 연구이지만, RL을 이용하여 성능을 최대화 시켰다는 것에 좋은 평을 받아 oral 페이퍼가 되지 않았나 싶습니다. 다음과 같은 순서로 쉽게 풀어 설명해보겠습니다. List Vision & Language History 간략 리뷰 이번 논문에 등장하는 RL 개념 이해하기 Sequence Generation 기초 개념 이해하기 본 … Continue reading [CVPR 2017 Oral] Deep Reinforcement Learning based Image Captioning with Embedding Reward

[IPMI 2017] Unsupervised Anomaly Detection with GANs to Guide Marker Discovery

현실적으로 상당히 중요한 문제를 GAN을 이용하여 해결한 논문이 나와 공유합니다. 이 논문에서 다루는 문제는 anomaly detection 입니다. 말그대로 정상치에서 벗어난 관측치들을 detect하겠다는 것이지요. One-class classification 혹은 one-class description이라고 부르기도 합니다. 이 anomaly detection 문제는 실제 여러 application에서 중요한 의미를 갖습니다. 보통 현실에서는 비정상 관측치가 거의 없는 경우가 많기 때문이지요. 예를 들어, 제조 공정에서 수집되는 데이터들을 … Continue reading [IPMI 2017] Unsupervised Anomaly Detection with GANs to Guide Marker Discovery

VIDEO PREDICTION BEYOND MEAN SQUARE ERROR

INTRODUCTION 예측된 결과 영상을 만들어내는 네크워크를학습시킬때 mean square error (MSE)는 ground truth 영상과 predict된 영상을 직접적으로 비교하는 loss 함수로써 손쉽게 사용되곤 합니다. 하지만 이렇게 학습시킨 네트워크의 경우에는 예측된 결과 영상이 ground truth 영상과는 다르게 blurry 한 결과를 만들어 낸다는 문제점을 보였습니다. 이러한 문제를 해결하기 위하여 새로운 loss 함수들 (GAN loss, GDL loss)를 소개하고 서로 다른 … Continue reading VIDEO PREDICTION BEYOND MEAN SQUARE ERROR

Back-Projecting High-Level Activations

Introduction CNN을 사용해 주어진 task를 수행할 때 우리는 주어진 high-level activation map의 각 activation이 입력 이미지의 어느 영역에서 기원한 것인지 종종 추적해야 할 때가 있다. 이는 CNN 모델의 구조 및 종류와 관계 없이 주로 다음과 같은 상황에서 필요하다. CNN의 동작 원리를 시각화하여 이해하려고 할때. 적절한 receptive field size를 고려해 CNN을 설계할 때. Class-level label만으로 학습한 … Continue reading Back-Projecting High-Level Activations

Neural GPUs and Extended Neural GPUs

Title: Neural GPUs Learn Algorithms Can Active Memory Replace Attention? Overview: Google Brain 팀에서 ICLR 2016, NIPS 2016에서 발표한 두 개의 논문, Neural GPU와 그 extension에 관한 소개를 드리려고 합니다.  이 전 포스팅 Learning To Remember Rare Events에서 (key, value) 타입의 memory module을 기존의 다양한 supervised neural network model에 적용했었는데요, 그 중 하나의 model이 extended … Continue reading Neural GPUs and Extended Neural GPUs

Learning to Remember Rare Events

Title: Learning to Remember Rare Events Overview: Google Brain 팀에서 ICLR 2017에서 발표할 본 논문은 memory-augmented neural network (MANN)에 관한 논문입니다. 기존의 MANN들은 rare event에 대한 generalization performance 측면에서 한계점을 갖고 있는데요, 본 논문에서는 그러한 단점을 극복하기 위한 새로운 memory module을 제안합니다. 제안하는 memory module은 구조상 확장성이 좋아서, 다양한 종류의 supervised NN 모델에 쉽게 추가할 … Continue reading Learning to Remember Rare Events

Neural Episodic Control

Title: Neural Episodic Control Overview: Neural network을 활용한 reinforcement learning (DQN)으로 유명한 DeepMind에서 최근 arXiv에 공개한 neural episodic control (NEC) 논문에 대해 소개합니다. NN + RL = DQN 이라면, DQN + dictionary(memory) = NEC 라고 생각할 수 있습니다. DQN을 비롯한 다양한  deep reinforcement learning 연구들은, human-level performance에 도달하는데까지 걸리는 "학습시간" 및 학습에 필요한 "데이터 (experience)"의 … Continue reading Neural Episodic Control