Breaking the Softmax Bottleneck: A High-Rank RNN Language Model (ICLR 2018 Oral)

안녕하세요, 박천성 연구원입니다. 이번 포스트에서는 ICLR 2018 oral 로 발표되는 논문 “Breaking the Softmax Bottleneck: A High-Rank RNN Language Model, ICLR 2018, Yang “을 소개하려고 합니다. 주변에서도 ‘좋은 논문이다’라는 이야기를 많이 들었는데, 읽어보니 정말 좋은 논문이라 이렇게 소개해보려고 합니다. 먼저 이 논문의 main contribution 두가지를 말씀드리고 싶습니다. 이론적 측면 : 이 논문에서는 일반적으로 language modeling에…

Read More

Deep Reinforcement Learning based Image Captioning with Embedding Reward

안녕하세요, 이번 포스트에서는 제가 주로 연구했었던 Vision&Language 관련 논문을 리뷰해볼까 합니다. 일단 기본적으로, Vision & Language 연구이지만, RL을 이용하여 성능을 최대화 시켰다는 것에 좋은 평을 받아 oral 페이퍼가 되지 않았나 싶습니다. 다음과 같은 순서로 쉽게 풀어 설명해보겠습니다. List Vision & Language History 간략 리뷰 이번 논문에 등장하는 RL 개념 이해하기 Sequence Generation 기초 개념 이해하기 본…

Read More