Clinically applicable deep learning for diagnosis and referral in retinal disease

이 논문은 DeepMind 와 Moorfields hospital 이 공동으로 수행한 연구로 2018년 8월 Nature Medicine 에 실렸습니다. 안과에서 사용하는 3차원 영상장비인 OCT 의 영상 해석에는 많은 경험을 필요로 한다고 합니다. 하지만 전체 검사 수에 비해서 이를 잘 판독할 수 있는 의료진이 부족하기 때문에, 응급질환임에도 불구하고 진단 및 치료가 지연될 수  있습니다. 따라서 이 연구에서는 OCT 영상에서 응급…

Read More

Cascade R-CNN: Delving into High Quality Object Detection

이번 CVPR 2018에서 소개된 논문 중에, 기존의 R-CNN 계열의  object detector의 약점을 잘 파악하고, 간단한 방법으로 이를 개선하여 R-CNN의 성능을 크게 높인 논문이 있어서 소개드립니다. 학계를 살펴보면 막상 복잡한 방법을 적용하고도 성능 향상은 미약한 결과를 보여주는 논문들도 많이 있는데, 이 논문은 문제점을 잘 파악하기만 하면 어렵지 않게도 문제를 아주 효과적으로 해결할 수 있다는 것을 보여준것…

Read More

Batch Size in Deep Learning

딥러닝 모델의 학습은 대부분 mini-batch Stochastic Gradient Descent (SGD)를 기반으로 이루어집니다. 이 때 batch size는 실제 모델 학습시 중요한 hyper-parameter 중 하나이며, batch size가 모델 학습에 끼치는 영향과 관련한 다양한 연구도 이루어지고 있습니다. 아직까지 명확하게 밝혀진 바는 없지만, 작은 batch size를 사용하면 generalization performance 측면에서 긍정적인 영향을 끼친다는 것이 여러 연구에서 실험적으로 관찰되고 있는 결과입니다. 본…

Read More

DeepLab V3+: Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation

Semantic Segmentation 이미지 분석 task 중 semantic segmentation은 중요한 방법 중 하나입니다. Semantic segmentation은 입력 영상에 주어진 각각의 픽셀에 대해서 class label을 할당하는 것을 목표로 합니다. 주로 의료영상 분석, 자율주행 등 다양한 분야에 활용될 수 있습니다. Semantic segmentation을 해결 하기 위한 방법론은 여러가지가 존재합니다. 이러한 여러 알고리즘들을 정해진 데이터와 지표를 기준으로 성능을 비교해 볼 수…

Read More

Label Refinery: Improving ImageNet Classification through Label Progression

안녕하세요, 박천성 연구원입니다. 이번 포스트에서는 간단한 아이디어로 큰 성능 향상을 도출했으며 실제로 다양하게 적용해 볼 수 있는 논문을 소개해보고자 합니다. “Label Refinery: Improving ImageNet Classification through Label Progression, Bagherinezhad et al” 입니다. 먼저 이 논문의 main contribution을 말씀드리고 싶습니다. 정말 단순한 아이디어인데, 성능향상이 크고 활용도가 매우 넓습니다. 비단 classification 뿐만 아니라, segmentation 등에도 적용해 볼 수…

Read More

Uncertainty and Deep Learning

Introduction This post is aimed at explaining the concept of uncertainty in deep learning. More often than not, when people speak of uncertainty or probability in deep learning, many different concepts of uncertainty are interchanged with one another, confounding the subject in hand altogether. To see this, consider such questions. – Is my network’s classification…

Read More

Progress & Compress: A scalable framework for continual learning

Introduction A major shortcoming of modern neural networks is their inability to perform continual learning. This is largely due to their susceptibility to catastrophic forgetting. Catastrophic forgetting refers to the phenomenon in which any significant alteration to an already trained neural network’s weights leads to a ‘catastrophic loss’ of what has been learned. This poses…

Read More

Batch-Instance Normalization

본 포스트에서는 NIPS 2018에 발표될 논문인 Batch-Instance Normalization for Adaptively Style-Invariant Neural Networks에 대해 소개하려고 합니다. 이 논문은 입력 영상의 style variation을 해결하기 위한 새로운 normalization 기법을 제안하며, 다양한 computer vision 문제에서 기존의 Batch normalization 및 Instance normalization을 효과적으로 대체할 수 있음을 보입니다. Introduction 이미지가 표현하는 정보는 크게 content와 style 두 가지로 구분될 수 있습니다. Image…

Read More

Geometry-aware CNN Features

Motivation Convolutional Neural Network (CNN)을 이용한 기존의 딥러닝 연구들은 대부분 semantic한 정보를 이용하여 high-level task(classification, detection, segmentation, etc)를 풀어왔습니다. Deep CNN (DCNN)의 feature들은 목적에 따라 semantic한 정보를 담고 있지만, local 정보, 즉 geometric한 정보를 명시적으로 담고 있지 않습니다. 통상적으로 high-level semantic 정보가 필요하면 DCNN feature를 사용하고, Low-level geometry정보가 필요하면 SIFT, HoG등 이미 성능이 널리 증명된…

Read More