Batch-Instance Normalization

본 포스트에서는 최근 저희가 발표한 Batch-Instance Normalization for Adaptively Style-Invariant Neural Networks에 대해 소개하려고 합니다. 이 논문은 입력 영상의 style variation을 해결하기 위한 새로운 normalization 기법을 제안하며, 다양한 computer vision 문제에서 기존의 Batch normalization 및 Instance normalization을 효과적으로 대체할 수 있음을 보입니다. Introduction 이미지가 표현하는 정보는 크게 content와 style 두 가지로 구분될 수 있습니다. Image style…

Read More

Geometry-aware CNN Features

Motivation Convolutional Neural Network (CNN)을 이용한 기존의 딥러닝 연구들은 대부분 semantic한 정보를 이용하여 high-level task(classification, detection, segmentation, etc)를 풀어왔습니다. Deep CNN (DCNN)의 feature들은 목적에 따라 semantic한 정보를 담고 있지만, local 정보, 즉 geometric한 정보를 명시적으로 담고 있지 않습니다. 통상적으로 high-level semantic 정보가 필요하면 DCNN feature를 사용하고, Low-level geometry정보가 필요하면 SIFT, HoG등 이미 성능이 널리 증명된…

Read More

DSD : Dense-Sparse-Dense Training for Deep Neural Networks

이번 포스트에서는 ICLR 2017 poster로 발표된 논문인 “DSD : Dense-Sparse-Dense Training for Deep Neural Networks”에 대해 소개드리고자 합니다. ‘Deep Compression’, ‘EIE’, ‘Pruning Neural Networks’ 등으로 유명한 Song Han 씨가 1 저자로 참여한 논문인데요. 기존의 pruning 연구의 대부분은 neural network의 redundancy를 이용해서 inference speed를 빠르게 하거나, weight들의 memory size를 작게 만드는데에 초점을 맞추어 진행되었습니다. 하지만 때에…

Read More

Learning with Average Top-k Loss

 주어진 데이터로 예측 모델을 만들기 위해서는 적절한 loss function이 필요합니다. 이번 포스트에서는 2017년 NIPS에서 포스터로 발표된 논문인 “Learning with Average Top-k Loss”에 대해 소개하고자 합니다. 1. Introduction 지도 학습(supervised learning)은 주어진 data 및 feature 로부터 target 를 예측하는 기계학습의 큰 분야로, 다음의 최소화 문제를 푸는 과정을 다룹니다.   위 식의 왼쪽 항은 ‘individual loss’를 통합하는 ‘aggregate loss’이며…

Read More

Deep Supervised Domain Adaptation

머신 러닝은 영상 처리나 자연어 처리등의 문제를 쉽게 해결하는 강력한 기법이지만, 학습에 충분한 데이터가 존재하는 문제에서만 성능을 낼 수 있다는 단점이 있습니다. 특히, 딥 러닝을 적용하는 경우에는 더 많은 데이터를 필요로 합니다.  일반적인 학습 환경에서 데이터는 input과 label의 쌍으로 이루어져있죠. 모든 문제에서 ImageNet같이 큰 표준 dataset이 존재한다면 좋겠지만, 현실에서는 데이터 부족에 시달리는 경우가 많습니다. Label이…

Read More

Group Normalization

이번 포스트에서는 최근 많이 회자되고있는 Yuxin Wu와 Kaiming He가 2018년 3월에 공개한 논문 Group Normalization에 대해 살펴보도록 하겠습니다. 이 논문에서는 batch의 크기가 극도로 작은 상황에서 batch normalization 대신 사용하면 좋은 normalization 기술을 소개했는데, Faster RCNN과 같이 학습시에 batch 크기가 극도로 작을수 밖에 없는 모델에 적용하면 유용한 기술인듯 합니다. 1. Introduction Batch normalization (BN) 은 현재…

Read More

Distilling the Knowledge in a Neural Network (NIPS 2014 Workshop)

머신 러닝 모델을 만들 때, 가장 쉽게 성능을 끌어올리는 방법 중 하나가 바로 ‘Ensemble’ 입니다. 동일한 모델 구조에서 initialization을 다르게 해서 여러 번 학습하거나, 다른 구조의 neural network를 여러 개 만든 뒤, 이들로부터 나오는 결과를 평균을 내거나 여러가지 방법으로 합치는 방법을 뜻하는데요. 각각의 모델이 가지는 training error가 비슷하더라도, ensemble된 결과는 보통 하나의 모델을 사용하는 것…

Read More

Breaking the Softmax Bottleneck: A High-Rank RNN Language Model (ICLR 2018 Oral)

안녕하세요, 박천성 연구원입니다. 이번 포스트에서는 ICLR 2018 oral 로 발표되는 논문 “Breaking the Softmax Bottleneck: A High-Rank RNN Language Model, ICLR 2018, Yang “을 소개하려고 합니다. 주변에서도 ‘좋은 논문이다’라는 이야기를 많이 들었는데, 읽어보니 정말 좋은 논문이라 이렇게 소개해보려고 합니다. 먼저 이 논문의 main contribution 두가지를 말씀드리고 싶습니다. 이론적 측면 : 이 논문에서는 일반적으로 language modeling에…

Read More