vectorflow : 넷플릭스의 sparse 데이터를 위한 신경망 라이브러리

 

Netflix에서 머신러닝 과학자들은 TV 및 영화 추천을 맞춤 설정 에서부터 취향에 맞게 인코딩 알고리즘을 최적화하는 등 광범위한 분야의 다양한 문제를 처리합니다. 문제 중 일부는 극히 드문 드문 존재하는 데이터를 다루는 것입니다. 모든 관찰이 단지 소수의 0이 아닌 항목만 갖더라도 문제의 전체 차원은 손쉽게 수천만개의 특징에 도달할 수 있습니다. 이러한 경우 단일 시스템, 멀티 코어 환경에서 Sparse 데이터에 대해 얕은 feed forward 신경망을 학습하는 데 특히 최적화된 최소 크기의 라이브러리가 필요하다는 것을 느꼈습니다. 작고 쉬운 해킹이 필요했기 때문에 머신러닝 과학자들이 사용하는 도구인 Vectorflow를 만들었습니다.

깃허브
https://github.com/Netflix/vectorflow

Hogwild (SGD에서 병목메모리 잠금, 동기화 추가)
https://arxiv.org/abs/1106.5730

SGD(Stochastic Gradient Descent)
http://web.stanford.edu/~cdesa/papers/isca2017_buckwild.pdf

원문
https://medium.com/@Net…/introducing-vectorflow-fe10d7f126b8

Tags:

vectorflow

netflix

넷플릭스

sparse

피드포워드

신경망

머신러닝

Hogwild

SGD

Stochastic