Keep and Learn: Knowledge Preservation in Neural Networks

본 포스트에서는 2018년 9월 MICCAI에서 발표 될 논문 Keep and Learn: Continual Learning by Constraining the Latent Space for Knowledge Preservation in Neural Networks에 대해 소개하려고 합니다. 여러 사이트에 privacy-critical data가 존재하여 model이 각 사이트를 돌아다니며 incrementally 학습되어야 하는 경우, 과거 사이트에서 배운 knowledge가 서서히 잊혀지는 catastrophic forgetting 현상이 발생합니다. 이 연구에서는 knowledge preservation에 유리하도록…

Read More