ACL2017 “네가지 딥러닝 연구 트렌드”

트렌드1 : 언어구조의 귀환
최근의 딥러닝 인기는 NLP에 대한 단순한 패러다임을 강조했습니다. 언어는 단어의 연속입니다. 이 논리에 따르면 추가 구조는 불필요합니다. 간단히 RNN 엔드투엔드를 학습하고 확률론적인 경사하강으로 나머지를 파악할 수 있습니다! 이 접근 방식은 엄청난 인기와 성공을 가져왔지만 (기능 공학을 요구하지 않는 편리성 때문에), 이제 그 한계가 더욱 분명 해지고 있습니다. ACL 2017에서 몇몇 저명한 연구자들은 “언어는 단순한 시퀀스”에 대해 실용적이고 원칙적인 이유를 제시하여 왜 NLP가 언어 구조를 다시 받아 들여야하는지 이유를 제시했습니다.

 

 

트렌드2 : 워드임베딩의 재검토
제목에 “워드임베딩”이 포함된 논문의 수는 올해 하위 10 개에서 4개로 감소했는데 그 중 일부는 하위 단어 수준 표현으로 이동했기 때문일 수 있습니다. 그럼에도 불구하고, 워드임베딩은 표준 기술을 유지하고 있습니다. 올해 ACL에서의 관련 논문은 매우 흥미 있습니다. 이 논문은 워드임베딩이 성공하고 실패하는 방식, 성공한 방식과 실패한 방식, 그리고 취약점을 개선하는 방법의 경계를 연구했습니다.

 

트렌드3 : 해석 가능성
최근에 많은 해석 가능성에 대해 생각 해왔습니다. 딥러닝 연구자들 사이에서 신경망의 두드러진 “Blackbox”는 통제하기 어렵고, 디버깅하기 어렵고, 개발하기가 어렵습니다. 그러나 비연구자 관점에서 보면, 해석 가능성을 바라는 훨씬 더 중요한 이유가 있습니다

 

트렌드4 : Attention
Sequence-to-sequence 모델의 게임 체인저로 널리 인정 받고 있는 Attention 메커니즘은 빠르게 인기있는 기술이 되고 있습니다. 정보 흐름에서 병목 현상을 우회하는데 사용할 수 있으며, feed-forward 레이어로는 달성 할 수 없는 key-value lookup 기능을 가능하게 하며, 필요한 많은 해석 기능을 제공합니다. 이 주제는 올해 ACL에서 증가했으며 논문 제목에 15번이나 “Attention”(전년도 9 회 증가) 등장 했습니다.

 

 

Tags:

ACL

딥러닝

NLP

언어구조

워드임베딩

Attention

Blackbox