Group Normalization

이번 포스트에서는 최근 많이 회자되고있는 Yuxin Wu와 Kaiming He가 2018년 3월에 공개한 논문 Group Normalization에 대해 살펴보도록 하겠습니다. 이 논문에서는 batch의 크기가 극도로 작은 상황에서 batch normalization 대신 사용하면 좋은 normalization 기술을 소개했는데, Faster RCNN과 같이 학습시에 batch 크기가 극도로 작을수 밖에 없는 모델에 적용하면 유용한 기술인듯 합니다. 1. Introduction Batch normalization (BN) 은 현재…

Read More

Distilling the Knowledge in a Neural Network (NIPS 2014 Workshop)

머신 러닝 모델을 만들 때, 가장 쉽게 성능을 끌어올리는 방법 중 하나가 바로 ‘Ensemble’ 입니다. 동일한 모델 구조에서 initialization을 다르게 해서 여러 번 학습하거나, 다른 구조의 neural network를 여러 개 만든 뒤, 이들로부터 나오는 결과를 평균을 내거나 여러가지 방법으로 합치는 방법을 뜻하는데요. 각각의 모델이 가지는 training error가 비슷하더라도, ensemble된 결과는 보통 하나의 모델을 사용하는 것…

Read More

Breaking the Softmax Bottleneck: A High-Rank RNN Language Model (ICLR 2018 Oral)

안녕하세요, 박천성 연구원입니다. 이번 포스트에서는 ICLR 2018 oral 로 발표되는 논문 “Breaking the Softmax Bottleneck: A High-Rank RNN Language Model, ICLR 2018, Yang “을 소개하려고 합니다. 주변에서도 ‘좋은 논문이다’라는 이야기를 많이 들었는데, 읽어보니 정말 좋은 논문이라 이렇게 소개해보려고 합니다. 먼저 이 논문의 main contribution 두가지를 말씀드리고 싶습니다. 이론적 측면 : 이 논문에서는 일반적으로 language modeling에…

Read More

Non-local Neural Networks

이번 포스트에서는 한동안 arxiv-sanity.com 에서 상위권에 머물었던 Kaiming He의 2017년 11월에 공개된 논문, ‘Non-local Neural Networks’를 소개 드리도록 하겠습니다. 간략히 요약하면 이 논문에서는  기존 네트워크에 차용 가능한 Non-local한 연산 방식을 제안했는데, 이 연산을 이미 학습되어있는 네트워크의 중간에 집어 넣어 비디오 분류하기 문제에서 기존 네트워크의 성능을 크게 개선하는 성과를 거두었습니다. 여담이지만 요즘 FAIR 그룹에서 논문을 정말 많이…

Read More

Enhanced Deep Residual Networks for Single Image Super-Resolution (Winner of NTIRE 2017 SISR challenge)

올해 개최 되었던 NTIRE 2017 SISR challenge의 우승 서울대 팀의 (임범, 손상현, 이경무 교수)(http://cv.snu.ac.kr) 차지였습니다. Single Image Super-Resolution (SISR)는 저해상도의 영상으로부터 고해상도의 영상을 추정하는 문제입니다. 서울대 팀은 SISR를 수행하는데에 있어서 2개의 새로운 네트워크 구조를 제안했는데, 2개의 네트워크 모두 상당히 좋은 성능을 보여 주었습니다. 이번 포스팅에선 팀이 챌린지 결과를 기반으로 CVPR 2017 workshop에서 발표한 논문 ‘Enhanced…

Read More

Borrowing Treasures from the Wealthy: Deep Transfer Learning Through Selective Joint Fine-Tuning

2017년 CVPR에서는 수많은 딥러닝 관련 논문들이 쏟아져 나왔습니다. 그 중에 학습 데이터가 부족한 상황에서 fine-tuning 성능을 끌어올릴 수 있는 방법을 제안한 논문이 있어 소개드리려고 합니다. 특히, 의료 데이터의 경우 supervision 학습을 위한 데이터를 확보하기에는 비용과 시간적인 측면에서 어려운 경우가 많습니다. 이 논문에서는 기존에 공개되어 있는 양질의 large-scale supervision 데이터셋으로부터 현재 학습하려는 문제에 도움이 될 만한…

Read More

Fine-tuning CNNs for Biomedical Image Analysis: Actively and Increment

올해 CVPR 2017에도 의료영상분석에 관련된 연구들이 발표되었는데, 그 중 의료영상분석에서 특히 중요한 문제를 다룬 논문이 있어 소개드립니다. 잘 알려져있다시피 의료영상은 label, annotation 등의 supervision 데이터를 얻는 것이 상대적으로 어렵습니다. 현실적으로 말해서 비싸지요 🙂 이 논문에서는 이러한 비용을 줄이는 방법, 다시 말해 최대한 적은 수의 supervision을 이용하여 만족할만한 성능을 달성하는 방법에 대한 연구입니다. Introduction 의료영상에서 annotation…

Read More

meProp: Sparsified Back Propagation for Accelerated Deep Learning with Reduced Overfitting

Introduction 이번 포스트에서 소개시켜 드릴 논문은,  아주 쉽고, 간단하며, 효과적인! 아이디어로! ICML2017에 accept된! 논문이 있어 공유해드립니다. 이 논문의 아이디어는, Neural Network를 학습시킬때, forward propagation은 그대로 유지하되, backpropagation 실행시, selective한 gradient로 학습을 합니다. 이렇게 함으로서, 이득은 3가지가 있다합니다. 학습 가속화: Backpropagation하는 gradient의 사이즈들이 워낙 작아져서 한번 업데이트 할시, 1-4%의 parameter들만 변화 된다합니다. Accuracy 향상: 극소수의 parameter가…

Read More

A Closer look at Memorization in Deep Networks

안녕하세요, 이번 포스팅에서는 ICML2017에 공개된 논문 “A Closer Look at Memorization in Deep Networks”을 소개해드리겠습니다.   본 논문은,  ICLR2017에서 Best Paper Award를 받은 “Understanding deep learning requires rethinking generalization”에 대한 continuation이라 생각하셔도 무방 하겠습니다.  아마 Neural Network를 조금 공부해보신 분들은 흔히, network parameter 혹은 capacity가 배워야 하는 데이타셋에 비해 너무 크다면, Neural Net이 데이터셋 자체를…

Read More