Breaking the Softmax Bottleneck: A High-Rank RNN Language Model (ICLR 2018 Oral)

안녕하세요, 박천성 연구원입니다. 이번 포스트에서는 ICLR 2018 oral 로 발표되는 논문 “Breaking the Softmax Bottleneck: A High-Rank RNN Language Model, ICLR 2018, Yang “을 소개하려고 합니다. 주변에서도 ‘좋은 논문이다’라는 이야기를 많이 들었는데, 읽어보니 정말 좋은 논문이라 이렇게 소개해보려고 합니다. 먼저 이 논문의 main contribution 두가지를 말씀드리고 싶습니다. 이론적 측면 : 이 논문에서는 일반적으로 language modeling에…

Read More