페이스북의 MUSE : 다국어 비지도 및 지도 임베딩

MUSE는 다국어 워드 임베딩을 위한 Python 라이브러리입니다.이 라이브러리의 목표는 커뮤니티에 다음을 제공하는 것입니다.

-fastText를 기반으로 한 최첨단 다국어 워드 임베딩
-학습 및 평가를 위한 대규모 고품질 양방향 사전

**fastText : https://github.com/facebookresearch/fastText/blob/master/pretrained-vectors.md

우리는 두가지 방법, 즉 이중 언어 사전이나 동일한 문자열을 사용하는 지도학습과 어떠한 병렬 데이터도 사용하지 않는 비지도학습을 포함합니다.

요구사항

MUSE는 CPU 또는 GPU의 Python 2 또는 3에서 사용할 수 있습니다. Faiss는 GPU 사용자에게는 선택 사항 입니다.하지만 Faiss-GPU는 가장 가까운 이웃 검색 속도를 크게 높여 주며 CPU 사용자에게도 강력히 권장 합니다. Faiss는 “conda install faiss-cpu -c pytorch”또는 “conda install faiss-gpu -c pytorch”를 사용하여 설치할 수 있습니다.

깃허브
https://github.com/facebookresearch/MUSE

Tags:

페이스북

MUSE

다국어

비지도

지도

fastText

Faiss

PyTorch