meProp: Sparsified Back Propagation for Accelerated Deep Learning with Reduced Overfitting

Introduction 이번 포스트에서 소개시켜 드릴 논문은,  아주 쉽고, 간단하며, 효과적인! 아이디어로! ICML2017에 accept된! 논문이 있어 공유해드립니다. 이 논문의 아이디어는, Neural Network를 학습시킬때, forward propagation은 그대로 유지하되, backpropagation 실행시, selective한 gradient로 학습을 합니다. 이렇게 함으로서, 이득은 3가지가 있다합니다. 학습 가속화: Backpropagation하는 gradient의 사이즈들이 워낙 작아져서 한번 업데이트 할시, 1-4%의 parameter들만 변화 된다합니다. Accuracy 향상: 극소수의 parameter가…

Read More

A Closer look at Memorization in Deep Networks

안녕하세요, 이번 포스팅에서는 ICML2017에 공개된 논문 “A Closer Look at Memorization in Deep Networks”을 소개해드리겠습니다.   본 논문은,  ICLR2017에서 Best Paper Award를 받은 “Understanding deep learning requires rethinking generalization”에 대한 continuation이라 생각하셔도 무방 하겠습니다.  아마 Neural Network를 조금 공부해보신 분들은 흔히, network parameter 혹은 capacity가 배워야 하는 데이타셋에 비해 너무 크다면, Neural Net이 데이터셋 자체를…

Read More

Deep Learning is Robust to Massive Label Noise

Introduction 이번 포스트에서는 재미있는 분석논문 결과가 있어 공유하고자 합니다. 제목을 보시면 바로 감이 오실 것 같지만… 데이터셋에 많은 양의 noisy한 label들이 존재할 경우, 어떤 현상들이 일어나는 지에 대해서 분석하고 정리한 논문입니다. 일반적으로 연구를 진행하다보면 주로 clean하게 정제된 데이터 셋을 활용해서 작업을 하게 되는데요. 실제 field의 데이터를 다루다보면 전혀 그렇지 않은 경우들이 많습니다. 또한 대량의 데이터를…

Read More

Aspect-augmented Adversarial Networks for Domain Adaptation

Paper Review “Aspect-augmented Adversarial Networks for Domain Adaptation” by Yuan Zhang, Regina Barzilay and Tommi Jaakkola (TACL 2017) Overview The goal of this paper is to apply adversarial training to domain transfer. More specifically, the paper addresses a somewhat restricted situation where we have a shared, single task we want to solve on two different domains, with…

Read More

Deep Reinforcement Learning based Image Captioning with Embedding Reward

안녕하세요, 이번 포스트에서는 제가 주로 연구했었던 Vision&Language 관련 논문을 리뷰해볼까 합니다. 일단 기본적으로, Vision & Language 연구이지만, RL을 이용하여 성능을 최대화 시켰다는 것에 좋은 평을 받아 oral 페이퍼가 되지 않았나 싶습니다. 다음과 같은 순서로 쉽게 풀어 설명해보겠습니다. List Vision & Language History 간략 리뷰 이번 논문에 등장하는 RL 개념 이해하기 Sequence Generation 기초 개념 이해하기 본…

Read More

Unsupervised Anomaly Detection with GANs to Guide Marker Discovery

현실적으로 상당히 중요한 문제를 GAN을 이용하여 해결한 논문이 나와 공유합니다. 이 논문에서 다루는 문제는 anomaly detection 입니다. 말그대로 정상치에서 벗어난 관측치들을 detect하겠다는 것이지요. One-class classification 혹은 one-class description이라고 부르기도 합니다. 이 anomaly detection 문제는 실제 여러 application에서 중요한 의미를 갖습니다. 보통 현실에서는 비정상 관측치가 거의 없는 경우가 많기 때문이지요. 예를 들어, 제조 공정에서 수집되는 데이터들을…

Read More

Deep Laplacian Pyramid Networks for Single Image Super-Resolution

Introduction Single image super-resolution 문제는 low-resolution 영상 1장을 input으로 받았을때 원본의 high-resolution영상으로 복원하는 문제입니다. 요즘 CNN을 이용하여 Single image super-resolution (SISR) 문제를 풀어내는 논문들을 보면, 점점 더 깊은 네트워크 구조를 사용하는 추세를 보입니다. 이번에는 기존의 SISR 문제를 해결하는데 소개된 네트워크 구조 몇가지를 간단히 살펴보고, CVPR 2017에 accept된 가장 최신의 CNN을 활용해서 SISR문제를 풀어나간 논문을 살펴보며…

Read More

Video Prediction Beyond Mean Square Error

INTRODUCTION 예측된 결과 영상을 만들어내는 네크워크를학습시킬때 mean square error (MSE)는 ground truth 영상과 predict된 영상을 직접적으로 비교하는 loss 함수로써 손쉽게 사용되곤 합니다. 하지만 이렇게 학습시킨 네트워크의 경우에는 예측된 결과 영상이 ground truth 영상과는 다르게 blurry 한 결과를 만들어 낸다는 문제점을 보였습니다. 이러한 문제를 해결하기 위하여 새로운 loss 함수들 (GAN loss, GDL loss)를 소개하고 서로 다른…

Read More