MentorNet: Regularizing Very Deep Neural Networks on Corrupted Labels

Introduction 딥러닝은 일반적으로 대량의 데이터를 기반으로 학습을 진행합니다 (data-driven). 다양한 딥러닝의 분류 중, 높은 인식 성능을 자랑하는 지도학습의 경우 대량의 데이터-정답 쌍(data-label pair)가 필요합니다. 작은 데이터셋은 손글씨 데이터셋인 MNIST, 작은 이미지로 이루어진 CIFAR 10/100, 그리고 대형 데이터셋으로는 ImageNet, COCO, OpenImage등 많은 이미지에 사람이 직접 라벨을 달아주었습니다. 이러한 라벨링 과정은 인식 성능을 매우 높게 끌어올렸지만, 사람이…

Read More

Multi-Task Learning as Multi-Objective Optimization

Introduction 사람은 방의 사진을 볼 때 방의 구조가 어떻게 되고, 어떤 물건들이 있고, 그것들이 현재 카메라의 위치에서 얼마나 떨어져 있는지를 동시에 파악합니다. 우리는 사진을 단순히 2차원의 그림이나 패턴으로 생각하지 않습니다. 왜냐면 단순히 관측된 사진의 정보보다 더 많은 현실에서의 정보를 실제로 그 공간에 살면서 얻기 때문입니다. 오늘 소개할 “Multi-Task Learning as Multi-Objective Optimization” (NeurIPS 2018) 논문의…

Read More

Multi-Domain Learning in Deep Learning

Introduction 최근 딥러닝 기반의 모델이 다양한 task에 대해서 좋은 성능을 보여주고 있습니다. 일반적으로 특정 종류의 task를 수행하기 위해서는 해당 task를 위한 input과 label의 쌍을 지닌 데이터셋을 확보하고, 이를 활용해 딥러닝 모델을 학습하게 됩니다. 하지만 여러 종류의 task를 수행하기 위해서는 각각의 task를 위한 모델을 따로 구축해야 하므로 수행해야 하는 task의 개수가 늘어날 때 마다 점진적으로 보유해야…

Read More

Probabilistic Modeling with Tensorflow Probability

Introduction This post is aimed at introducing the tool, Tensorflow Probability. The content of the article is heavily borrowed from the following pages. https://www.tensorflow.org/probability/ https://github.com/CamDavidsonPilon/Probabilistic-Programming-and-Bayesian-Methods-for-Hackers https://www.youtube.com/watch?v=CkD4PKwn9Dk (seminar) A high-level description of the Tensorflow Probability (TFP) is that it is a tool that can chain probability distributions to make a probabilistic inference. Probabilistic modeling is quite…

Read More

CyCADA: Cycle-Consistent Adversarial Domain Adaptation

이번 포스트에서는 ICML 2018에서 발표된 논문인 “CyCADA: Cycle-Consistent Adversarial Domain Adaptation”라는 논문에 대해 소개드리고자 합니다.   Background 본격적으로 논문을 소개하기에 앞서 domain adaptation에서 풀고자 하는 문제가 어떤 것인지 간단하게 설명하고 넘어가겠습니다.  Unsupervised Domain Adaptation 자율주행 자동차 개발을 위해서 차와 사람을 구분하는 알고리즘을 개발한다고 가정해보겠습니다. 이를 위해 한국 여러 도시를 돌아다니면서 도로 데이터를 모았고, 이러한 데이터로…

Read More

Efficient Neural Architecture Search with Network Morphism

데이터에 맞는 neural network를 디자인하는 일은 시간이 많이 듭니다. 지금까지 성능이 좋은 network가 많이 소개 되어왔으나, 같은 network라도 데이터의 특성이나 양에 따라 성능이 크게 달라지기 때문입니다. 성능이 좋은 네트워크를 찾으려면 일일이 네트워크의 layer나 skip connection의 수를 바꾸면서 학습을 시켜봐야 합니다. 이런 문제를 하기 위해 다양한 NAS(Neural Architecture Search) 방법들이 제안되었습니다. NAS란 사람이 neural network의 구조를…

Read More

Taskonomy: Disentangling Task Transfer Learning

안녕하세요. 이번 시간에는 CVPR 2018에 발표된 taskonomy라는 논문을 소개해 드리도록 하겠습니다. 이 논문은 multi-task learning에서 최소한의 labeling 비용으로 가장 많은 성능을 얻을 수 있는 방법을 소개합니다. CVPR 2018에서 best paper award를 받을 정도로 많은 인정을 받았는데요, 이에 걸맞게 검증이나 실용성 측면에서 좋은 연구라는 생각이 듭니다. 이 논문은 다음과 같은 질문을 던지면서 시작합니다. “과연 task들이 관계를 가지고…

Read More

A Robust and Effective Approach Towards Accurate Metastasis Detection and pN-stage Classification in Breast Cancer

Introduction 유방암 환자의 예후를 예측하는 인자들 중 가장 중요하게 다루어지는 것 중 하나가 병기(stage) 입니다. 병기를 나누는 데 있어 가장 널리 사용되는 시스템은 American Cancer Society에서 발표한 TNM staging 시스템 [1]입니다. TNM staging 시스템은, 암을 종양의 크기 (T-stage), 림프절의 전이 정도 (N-stage), 그리고 타 기관으로의 전이 여부 (M-stage) 세 가지를 종합하여 병기를 분류합니다. 이 세…

Read More