딥러닝 모델의 학습은 대부분 mini-batch Stochastic Gradient Descent (SGD)를 기반으로 이루어집니다. 이 때 batch size는 실제 모델 학습시 중요한 hyper-parameter 중 하나이며, batch size가 모델 학습에 끼치는 영향과 관련한 다양한 연구도 이루어지고 있습니다. 아직까지 명확하게 밝혀진 바는 없지만, 작은 batch size를 사용하면 generalization performance 측면에서 긍정적인 영향을 끼친다는 것이 여러 연구에서 실험적으로 관찰되고 있는 결과입니다. 본…

Semantic Segmentation 이미지 분석 task 중 semantic segmentation은 중요한 방법 중 하나입니다. Semantic segmentation은 입력 영상에 주어진 각각의 픽셀에 대해서 class label을 할당하는 것을 목표로 합니다. 주로 의료영상 분석, 자율주행 등 다양한 분야에 활용될 수 있습니다. Semantic segmentation을 해결 하기 위한 방법론은 여러가지가 존재합니다. 이러한 여러 알고리즘들을 정해진 데이터와 지표를 기준으로 성능을 비교해 볼 수…

안녕하세요, 박천성 연구원입니다. 이번 포스트에서는 간단한 아이디어로 큰 성능 향상을 도출했으며 실제로 다양하게 적용해 볼 수 있는 논문을 소개해보고자 합니다. “Label Refinery: Improving ImageNet Classification through Label Progression, Bagherinezhad et al” 입니다. 먼저 이 논문의 main contribution을 말씀드리고 싶습니다. 정말 단순한 아이디어인데, 성능향상이 크고 활용도가 매우 넓습니다. 비단 classification 뿐만 아니라, segmentation 등에도 적용해 볼 수…

Introduction A major shortcoming of modern neural networks is their inability to perform continual learning. This is largely due to their susceptibility to catastrophic forgetting. Catastrophic forgetting refers to the phenomenon in which any significant alteration to an already trained neural network’s weights leads to a ‘catastrophic loss’ of what has been learned. This poses…

Motivation Convolutional Neural Network (CNN)을 이용한 기존의 딥러닝 연구들은 대부분 semantic한 정보를 이용하여 high-level task(classification, detection, segmentation, etc)를 풀어왔습니다. Deep CNN (DCNN)의 feature들은 목적에 따라 semantic한 정보를 담고 있지만, local 정보, 즉 geometric한 정보를 명시적으로 담고 있지 않습니다. 통상적으로 high-level semantic 정보가 필요하면 DCNN feature를 사용하고, Low-level geometry정보가 필요하면 SIFT, HoG등 이미 성능이 널리 증명된…

Utility of deep learning in radiology Deep learning has been actively applied to radiology for several reasons [1]. First, deep learning is a powerful tool for image recognition, and radiology begins by recognizing abnormal regions in the image. Secondly, the number of imaging examinations increases rapidly, but there are not enough radiologists to interpret the examinations.…

이번 포스트에서는 ICLR 2017 poster로 발표된 논문인 “DSD : Dense-Sparse-Dense Training for Deep Neural Networks”에 대해 소개드리고자 합니다. ‘Deep Compression’, ‘EIE’, ‘Pruning Neural Networks’ 등으로 유명한 Song Han 씨가 1 저자로 참여한 논문인데요. 기존의 pruning 연구의 대부분은 neural network의 redundancy를 이용해서 inference speed를 빠르게 하거나, weight들의 memory size를 작게 만드는데에 초점을 맞추어 진행되었습니다. 하지만 때에…

 주어진 데이터로 예측 모델을 만들기 위해서는 적절한 loss function이 필요합니다. 이번 포스트에서는 2017년 NIPS에서 포스터로 발표된 논문인 “Learning with Average Top-k Loss”에 대해 소개하고자 합니다. 1. Introduction 지도 학습(supervised learning)은 주어진 data 및 feature 로부터 target 를 예측하는 기계학습의 큰 분야로, 다음의 최소화 문제를 푸는 과정을 다룹니다.   위 식의 왼쪽 항은 ‘individual loss’를 통합하는 ‘aggregate loss’이며…

머신 러닝은 영상 처리나 자연어 처리등의 문제를 쉽게 해결하는 강력한 기법이지만, 학습에 충분한 데이터가 존재하는 문제에서만 성능을 낼 수 있다는 단점이 있습니다. 특히, 딥 러닝을 적용하는 경우에는 더 많은 데이터를 필요로 합니다.  일반적인 학습 환경에서 데이터는 input과 label의 쌍으로 이루어져있죠. 모든 문제에서 ImageNet같이 큰 표준 dataset이 존재한다면 좋겠지만, 현실에서는 데이터 부족에 시달리는 경우가 많습니다. Label이…