Non-local Neural Networks

이번 포스트에서는 한동안 arxiv-sanity.com 에서 상위권에 머물었던 Kaiming He의 2017년 11월에 공개된 논문, ‘Non-local Neural Networks’를 소개 드리도록 하겠습니다. 간략히 요약하면 이 논문에서는  기존 네트워크에 차용 가능한 Non-local한 연산 방식을 제안했는데, 이 연산을 이미 학습되어있는 네트워크의 중간에 집어 넣어 비디오 분류하기 문제에서 기존 네트워크의 성능을 크게 개선하는 성과를 거두었습니다. 여담이지만 요즘 FAIR 그룹에서 논문을 정말 많이…

Read More

Enhanced Deep Residual Networks for Single Image Super-Resolution (Winner of NTIRE 2017 SISR challenge)

올해 개최 되었던 NTIRE 2017 SISR challenge의 우승 서울대 팀의 (임범, 손상현, 이경무 교수)(http://cv.snu.ac.kr) 차지였습니다. Single Image Super-Resolution (SISR)는 저해상도의 영상으로부터 고해상도의 영상을 추정하는 문제입니다. 서울대 팀은 SISR를 수행하는데에 있어서 2개의 새로운 네트워크 구조를 제안했는데, 2개의 네트워크 모두 상당히 좋은 성능을 보여 주었습니다. 이번 포스팅에선 팀이 챌린지 결과를 기반으로 CVPR 2017 workshop에서 발표한 논문 ‘Enhanced…

Read More

Deep Laplacian Pyramid Networks for Single Image Super-Resolution

Introduction Single image super-resolution 문제는 low-resolution 영상 1장을 input으로 받았을때 원본의 high-resolution영상으로 복원하는 문제입니다. 요즘 CNN을 이용하여 Single image super-resolution (SISR) 문제를 풀어내는 논문들을 보면, 점점 더 깊은 네트워크 구조를 사용하는 추세를 보입니다. 이번에는 기존의 SISR 문제를 해결하는데 소개된 네트워크 구조 몇가지를 간단히 살펴보고, CVPR 2017에 accept된 가장 최신의 CNN을 활용해서 SISR문제를 풀어나간 논문을 살펴보며…

Read More

Video Prediction Beyond Mean Square Error

INTRODUCTION 예측된 결과 영상을 만들어내는 네크워크를학습시킬때 mean square error (MSE)는 ground truth 영상과 predict된 영상을 직접적으로 비교하는 loss 함수로써 손쉽게 사용되곤 합니다. 하지만 이렇게 학습시킨 네트워크의 경우에는 예측된 결과 영상이 ground truth 영상과는 다르게 blurry 한 결과를 만들어 낸다는 문제점을 보였습니다. 이러한 문제를 해결하기 위하여 새로운 loss 함수들 (GAN loss, GDL loss)를 소개하고 서로 다른…

Read More