CyCADA: Cycle-Consistent Adversarial Domain Adaptation

이번 포스트에서는 ICML 2018에서 발표된 논문인 “CyCADA: Cycle-Consistent Adversarial Domain Adaptation”라는 논문에 대해 소개드리고자 합니다.   Background 본격적으로 논문을 소개하기에 앞서 domain adaptation에서 풀고자 하는 문제가 어떤 것인지 간단하게 설명하고 넘어가겠습니다.  Unsupervised Domain Adaptation 자율주행 자동차 개발을 위해서 차와 사람을 구분하는 알고리즘을 개발한다고 가정해보겠습니다. 이를 위해 한국 여러 도시를 돌아다니면서 도로 데이터를 모았고, 이러한 데이터로…

Read More

Efficient Neural Architecture Search with Network Morphism

데이터에 맞는 neural network를 디자인하는 일은 시간이 많이 듭니다. 지금까지 성능이 좋은 network가 많이 소개 되어왔으나, 같은 network라도 데이터의 특성이나 양에 따라 성능이 크게 달라지기 때문입니다. 성능이 좋은 네트워크를 찾으려면 일일이 네트워크의 layer나 skip connection의 수를 바꾸면서 학습을 시켜봐야 합니다. 이런 문제를 하기 위해 다양한 NAS(Neural Architecture Search) 방법들이 제안되었습니다. NAS란 사람이 neural network의 구조를…

Read More

Taskonomy: Disentangling Task Transfer Learning

안녕하세요. 이번 시간에는 CVPR 2018에 발표된 taskonomy라는 논문을 소개해 드리도록 하겠습니다. 이 논문은 multi-task learning에서 최소한의 labeling 비용으로 가장 많은 성능을 얻을 수 있는 방법을 소개합니다. CVPR 2018에서 best paper award를 받을 정도로 많은 인정을 받았는데요, 이에 걸맞게 검증이나 실용성 측면에서 좋은 연구라는 생각이 듭니다. 이 논문은 다음과 같은 질문을 던지면서 시작합니다. “과연 task들이 관계를 가지고…

Read More

A Robust and Effective Approach Towards Accurate Metastasis Detection and pN-stage Classification in Breast Cancer

Introduction 유방암 환자의 예후를 예측하는 인자들 중 가장 중요하게 다루어지는 것 중 하나가 병기(stage) 입니다. 병기를 나누는 데 있어 가장 널리 사용되는 시스템은 American Cancer Society에서 발표한 TNM staging 시스템 [1]입니다. TNM staging 시스템은, 암을 종양의 크기 (T-stage), 림프절의 전이 정도 (N-stage), 그리고 타 기관으로의 전이 여부 (M-stage) 세 가지를 종합하여 병기를 분류합니다. 이 세…

Read More

Keep and Learn: Knowledge Preservation in Neural Networks

본 포스트에서는 2018년 9월 MICCAI에서 발표 될 논문 Keep and Learn: Continual Learning by Constraining the Latent Space for Knowledge Preservation in Neural Networks에 대해 소개하려고 합니다. 여러 사이트에 privacy-critical data가 존재하여 model이 각 사이트를 돌아다니며 incrementally 학습되어야 하는 경우, 과거 사이트에서 배운 knowledge가 서서히 잊혀지는 catastrophic forgetting 현상이 발생합니다. 이 연구에서는 knowledge preservation에 유리하도록…

Read More

BAM and CBAM: self-attention modules for CNN

Intro 이번 글에서는 self-attention에 대하여 필자가 연구한 다음 두 논문을 다뤄보고자 합니다. Jongchan Park*, Sanghyun Woo*, Joon-Young Lee, and In So Kweon: “BAM: Bottleneck Attention Module” , in BMVC 2018 (Oral) Jongchan Park*, Sanghyun Woo*, Joon-Young Lee, and In So Kweon: “CBAM: Convolutional Block Attention Module” , in ECCV 2018 (* equal contribution) 두 논문…

Read More

Clinically applicable deep learning for diagnosis and referral in retinal disease

이 논문은 DeepMind 와 Moorfields hospital 이 공동으로 수행한 연구로 2018년 8월 Nature Medicine 에 실렸습니다. 안과에서 사용하는 3차원 영상장비인 OCT 의 영상 해석에는 많은 경험을 필요로 한다고 합니다. 하지만 전체 검사 수에 비해서 이를 잘 판독할 수 있는 의료진이 부족하기 때문에, 응급질환임에도 불구하고 진단 및 치료가 지연될 수  있습니다. 따라서 이 연구에서는 OCT 영상에서 응급…

Read More

Cascade R-CNN: Delving into High Quality Object Detection

이번 CVPR 2018에서 소개된 논문 중에, 기존의 R-CNN 계열의  object detector의 약점을 잘 파악하고, 간단한 방법으로 이를 개선하여 R-CNN의 성능을 크게 높인 논문이 있어서 소개드립니다. 학계를 살펴보면 막상 복잡한 방법을 적용하고도 성능 향상은 미약한 결과를 보여주는 논문들도 많이 있는데, 이 논문은 문제점을 잘 파악하기만 하면 어렵지 않게도 문제를 아주 효과적으로 해결할 수 있다는 것을 보여준것…

Read More

Batch Size in Deep Learning

딥러닝 모델의 학습은 대부분 mini-batch Stochastic Gradient Descent (SGD)를 기반으로 이루어집니다. 이 때 batch size는 실제 모델 학습시 중요한 hyper-parameter 중 하나이며, batch size가 모델 학습에 끼치는 영향과 관련한 다양한 연구도 이루어지고 있습니다. 아직까지 명확하게 밝혀진 바는 없지만, 작은 batch size를 사용하면 generalization performance 측면에서 긍정적인 영향을 끼친다는 것이 여러 연구에서 실험적으로 관찰되고 있는 결과입니다. 본…

Read More