Enhanced Deep Residual Networks for Single Image Super-Resolution (Winner of NTIRE 2017 SISR challenge)

올해 개최 되었던 NTIRE 2017 SISR challenge의 우승 서울대 팀의 (임범, 손상현, 이경무 교수)(http://cv.snu.ac.kr) 차지였습니다. Single Image Super-Resolution (SISR)는 저해상도의 영상으로부터 고해상도의 영상을 추정하는 문제입니다. 서울대 팀은 SISR를 수행하는데에 있어서 2개의 새로운 네트워크 구조를 제안했는데, 2개의 네트워크 모두 상당히 좋은 성능을 보여 주었습니다. 이번 포스팅에선 팀이 챌린지 결과를 기반으로 CVPR 2017 workshop에서 발표한 논문 ‘Enhanced…

Read More

Borrowing Treasures from the Wealthy: Deep Transfer Learning Through Selective Joint Fine-Tuning

2017년 CVPR에서는 수많은 딥러닝 관련 논문들이 쏟아져 나왔습니다. 그 중에 학습 데이터가 부족한 상황에서 fine-tuning 성능을 끌어올릴 수 있는 방법을 제안한 논문이 있어 소개드리려고 합니다. 특히, 의료 데이터의 경우 supervision 학습을 위한 데이터를 확보하기에는 비용과 시간적인 측면에서 어려운 경우가 많습니다. 이 논문에서는 기존에 공개되어 있는 양질의 large-scale supervision 데이터셋으로부터 현재 학습하려는 문제에 도움이 될 만한…

Read More

An Update to Lunit’s Pathology AI: Automated Detection and Classification of Breast Cancer Nodal Metastases

Last year, we introduced an AI algorithm that predicts proliferation of breast cancer, the first attempt to automate a specific pathologic task from end to end. Today, we introduce an update to our pathology AI, which now supports automated detection and stage assessment of breast cancer metastases in lymph nodes. Introduction When cancer is first…

Read More

Fine-tuning CNNs for Biomedical Image Analysis: Actively and Increment

올해 CVPR 2017에도 의료영상분석에 관련된 연구들이 발표되었는데, 그 중 의료영상분석에서 특히 중요한 문제를 다룬 논문이 있어 소개드립니다. 잘 알려져있다시피 의료영상은 label, annotation 등의 supervision 데이터를 얻는 것이 상대적으로 어렵습니다. 현실적으로 말해서 비싸지요 🙂 이 논문에서는 이러한 비용을 줄이는 방법, 다시 말해 최대한 적은 수의 supervision을 이용하여 만족할만한 성능을 달성하는 방법에 대한 연구입니다. Introduction 의료영상에서 annotation…

Read More

meProp: Sparsified Back Propagation for Accelerated Deep Learning with Reduced Overfitting

Introduction 이번 포스트에서 소개시켜 드릴 논문은,  아주 쉽고, 간단하며, 효과적인! 아이디어로! ICML2017에 accept된! 논문이 있어 공유해드립니다. 이 논문의 아이디어는, Neural Network를 학습시킬때, forward propagation은 그대로 유지하되, backpropagation 실행시, selective한 gradient로 학습을 합니다. 이렇게 함으로서, 이득은 3가지가 있다합니다. 학습 가속화: Backpropagation하는 gradient의 사이즈들이 워낙 작아져서 한번 업데이트 할시, 1-4%의 parameter들만 변화 된다합니다. Accuracy 향상: 극소수의 parameter가…

Read More

A Closer look at Memorization in Deep Networks

안녕하세요, 이번 포스팅에서는 ICML2017에 공개된 논문 “A Closer Look at Memorization in Deep Networks”을 소개해드리겠습니다.   본 논문은,  ICLR2017에서 Best Paper Award를 받은 “Understanding deep learning requires rethinking generalization”에 대한 continuation이라 생각하셔도 무방 하겠습니다.  아마 Neural Network를 조금 공부해보신 분들은 흔히, network parameter 혹은 capacity가 배워야 하는 데이타셋에 비해 너무 크다면, Neural Net이 데이터셋 자체를…

Read More

Deep Learning is Robust to Massive Label Noise

Introduction 이번 포스트에서는 재미있는 분석논문 결과가 있어 공유하고자 합니다. 제목을 보시면 바로 감이 오실 것 같지만… 데이터셋에 많은 양의 noisy한 label들이 존재할 경우, 어떤 현상들이 일어나는 지에 대해서 분석하고 정리한 논문입니다. 일반적으로 연구를 진행하다보면 주로 clean하게 정제된 데이터 셋을 활용해서 작업을 하게 되는데요. 실제 field의 데이터를 다루다보면 전혀 그렇지 않은 경우들이 많습니다. 또한 대량의 데이터를…

Read More

Aspect-augmented Adversarial Networks for Domain Adaptation

Paper Review “Aspect-augmented Adversarial Networks for Domain Adaptation” by Yuan Zhang, Regina Barzilay and Tommi Jaakkola (TACL 2017) Overview The goal of this paper is to apply adversarial training to domain transfer. More specifically, the paper addresses a somewhat restricted situation where we have a shared, single task we want to solve on two different domains, with…

Read More