Weight Standardization

본 포스트는 최근 발표된 새로운 normalization 기법인 Weight Standardization에 대해 소개합니다. Introduction Normalization은 머신러닝에서 데이터의 불필요한 정보를 제거하고 학습을 용이하게 하기 위해 매우 중요한 요소입니다. 특히 Batch Normalization (BN)은 딥러닝 모델의 학습을 안정시키고 가속화함으로써 성능을 크게 향상시켰고, ResNet을 비롯한 대부분의 state-of-the-art 모델에서 필수적인 요소로 사용되고 있습니다. 그러나 BN은 minibatch 단위로 normalization을 수행하기 때문에 모델의 성능이 large batch size에…

Read More

FickleNet:Weakly and Semi-supervised Semantic Image Segmentation using Stochastic Inference

안녕하세요, 박천성 연구원입니다. 요즘 weakly and semi-supervised learning에 대한 연구를 진행중인데, classification 혹은 detection 에 대한 연구는 많은 반면 semantic segmentation에 대해선 많지 않았던것 같습니다. 그러던 와중 최근 서울대학교 연구실에서 CVPR 2019에 publish한 연구결과를 발견하여 이번 포스트를 작성하게 되었습니다.  소개해드릴 논문은 “FickleNet:Weakly and Semi-supervised Semantic Image Segmentation using Stochastic Inference, Lee et al” 입니다. 먼저…

Read More

Efficient Neural Architecture Search with Network Morphism

데이터에 맞는 neural network를 디자인하는 일은 시간이 많이 듭니다. 지금까지 성능이 좋은 network가 많이 소개 되어왔으나, 같은 network라도 데이터의 특성이나 양에 따라 성능이 크게 달라지기 때문입니다. 성능이 좋은 네트워크를 찾으려면 일일이 네트워크의 layer나 skip connection의 수를 바꾸면서 학습을 시켜봐야 합니다. 이런 문제를 하기 위해 다양한 NAS(Neural Architecture Search) 방법들이 제안되었습니다. NAS란 사람이 neural network의 구조를…

Read More

Taskonomy: Disentangling Task Transfer Learning

안녕하세요. 이번 시간에는 CVPR 2018에 발표된 taskonomy라는 논문을 소개해 드리도록 하겠습니다. 이 논문은 multi-task learning에서 최소한의 labeling 비용으로 가장 많은 성능을 얻을 수 있는 방법을 소개합니다. CVPR 2018에서 best paper award를 받을 정도로 많은 인정을 받았는데요, 이에 걸맞게 검증이나 실용성 측면에서 좋은 연구라는 생각이 듭니다. 이 논문은 다음과 같은 질문을 던지면서 시작합니다. “과연 task들이 관계를 가지고…

Read More