Deep Reinforcement Learning based Image Captioning with Embedding Reward

안녕하세요, 이번 포스트에서는 제가 주로 연구했었던 Vision&Language 관련 논문을 리뷰해볼까 합니다. 일단 기본적으로, Vision & Language 연구이지만, RL을 이용하여 성능을 최대화 시켰다는 것에 좋은 평을 받아 oral 페이퍼가 되지 않았나 싶습니다. 다음과 같은 순서로 쉽게 풀어 설명해보겠습니다. List Vision & Language History 간략 리뷰 이번 논문에 등장하는 RL 개념 이해하기 Sequence Generation 기초 개념 이해하기 본 … Continue reading Deep Reinforcement Learning based Image Captioning with Embedding Reward

Unsupervised Anomaly Detection with GANs to Guide Marker Discovery

현실적으로 상당히 중요한 문제를 GAN을 이용하여 해결한 논문이 나와 공유합니다. 이 논문에서 다루는 문제는 anomaly detection 입니다. 말그대로 정상치에서 벗어난 관측치들을 detect하겠다는 것이지요. One-class classification 혹은 one-class description이라고 부르기도 합니다. 이 anomaly detection 문제는 실제 여러 application에서 중요한 의미를 갖습니다. 보통 현실에서는 비정상 관측치가 거의 없는 경우가 많기 때문이지요. 예를 들어, 제조 공정에서 수집되는 데이터들을 … Continue reading Unsupervised Anomaly Detection with GANs to Guide Marker Discovery

Deep Laplacian Pyramid Networks for Single Image Super-Resolution

Introduction Single image super-resolution 문제는 low-resolution 영상 1장을 input으로 받았을때 원본의 high-resolution영상으로 복원하는 문제입니다. 요즘 CNN을 이용하여 Single image super-resolution (SISR) 문제를 풀어내는 논문들을 보면, 점점 더 깊은 네트워크 구조를 사용하는 추세를 보입니다. 이번에는 기존의 SISR 문제를 해결하는데 소개된 네트워크 구조 몇가지를 간단히 살펴보고, CVPR 2017에 accept된 가장 최신의 CNN을 활용해서 SISR문제를 풀어나간 논문을 살펴보며 … Continue reading Deep Laplacian Pyramid Networks for Single Image Super-Resolution

Video Prediction Beyond Mean Square Error

INTRODUCTION 예측된 결과 영상을 만들어내는 네크워크를학습시킬때 mean square error (MSE)는 ground truth 영상과 predict된 영상을 직접적으로 비교하는 loss 함수로써 손쉽게 사용되곤 합니다. 하지만 이렇게 학습시킨 네트워크의 경우에는 예측된 결과 영상이 ground truth 영상과는 다르게 blurry 한 결과를 만들어 낸다는 문제점을 보였습니다. 이러한 문제를 해결하기 위하여 새로운 loss 함수들 (GAN loss, GDL loss)를 소개하고 서로 다른 … Continue reading Video Prediction Beyond Mean Square Error

R-CNNs Tutorial

INTRODUCTION Object detection은 입력 영상이 주어졌을 때, 영상 내에 존재하는 모든 카테고리에 대해서 classification과 localization을 수행하는 것을 말합니다. 입력 영상에 따라 존재하는 물체의 개수가 일정하지 않고 0~N개로 변하기 때문에 난이도가 높은 task로 알려져 있습니다. 본 글에서는 convolutional neural network(CNN) 기반의 object detection 중에서 높은 성능과 빠른 속도로 큰 주목을 받고 있는 region based CNN의 흐름을 … Continue reading R-CNNs Tutorial

Learning Graphical State Transitions

INTRODUCTION: 우리가 접하는 많은 데이타들중에는 그래프 형태로 표현될 수 있는 데이타들이 있습니다. 예를들어 지하철 노선도나 chemical molecule, 혹은 data structure들이 될 수 있겠죠. 그런 데이타들에서 특정 정보를 뽑는다고 할때 (eg. 지하철 노선도에서의 최단거리), 데이타가 그래프화 되어 있다면 정보를 취득하기 훨씬 쉬울 것입니다. 이번에 소개시켜드리는 "Learning Graphical State Transitions" 논문은 ICLR 2017 oral paper에 선정되었으며, unstructured … Continue reading Learning Graphical State Transitions

Optimization as a Model for Few-Shot Learning

INTRODUCTION: One-Shot/Few-Shot learning 이란, 저번 포스트 "Siamese One-Shot Learners and Feed-Forward One-Shot Learners"에 소개 되었듯이, 적은 수의 example들로부터 그 example들에 대하여 (보통의 classification 문제에서는 example의 클래스에 대하여) generalize할수 있는 모델을 만드는 문제입니다 - Few-Shot learning에 대한 더 자세한 설명은 지난 포스트를 참조하시길 바랍니다. 이번에 소개시켜드리는 "Optimization as a Model for Few-Shot Learning" 논문은 ICLR 2017에 … Continue reading Optimization as a Model for Few-Shot Learning