SELU – FNN의 활용성을 높여줍니다.(SNN)

신경망은 많은 영역에서 성공을 거두고 있지만 주요 활용 단계는 LSTM, GRU가 차지하는 반면 피드 포워드 신경망(FNN)은 초보 자습서 섹션에 남아 있습니다.

또한 Kaggle에서 우승하는데 성공한 FNN은 최대 4층 깊이 였습니다.

심층 아키텍처를 사용하면 네트워크가 그래디언트 문제를 일으키기 쉽습니다. 바로 배치 정규화가 표준으로 된 이유입니다. 바로 이것이 FNN의 취약점이 학습의 정규화에 대한 민감도에 두는 이유입니다.

SNN은 외부의 정규화 기술을 사용하는 것으로 대치합니다.(예. batch norm), 정규화는 활성화 함수안에서 일어납니다. 이를 명백히 하기 위해 활성화 함수 출력을 정규화하는 대신에 활성화 함수로 제안하는 SELU로 정규화된 값을 출력합니다. SNN이 작동하려면 사용자정의 가중치 초기화 방법과 SELU 활성화 함수 두가지가 필요합니다.

Tags:

SELU

SNN

FNN

LSTM

GRU

batch norm