비영어권 언어로 된 Word2Vec 구현?

Question

우르두어, 타밀어 등 영어 알파벳을 기반으로하지 않는 언어로 Word2Vec 모델을 구현할 수 있습니까? 그렇다면 누군가가 나에게 통로를 제안 할 수 있습니다.

Answer 1

그래야, 언어에 대한 토크 나이저 (예 : 단어 분리기)가 있어야하고, 작은 데이터가 있고 변형 된 단어 양식을 기본 양식 표현으로 대체하려는 경우에는 기각제 또는 형태소 분석기가있을 수 있다고 생각합니다. .

여기 파이썬에서 gensim와 모델을 훈련을위한 기본 예제 : 단지 데이터 전처리

from gensim import models 

training_corpus = "corpus.txt" 

with open(training_corpus,'r') as f: 
    plain_text = f.read() 

sentences = plain_text.split("\n") # Assume one sentence per line 
tokenized = [] 

for sentence in sentences: 
    # White-space-based word splitting, replace with a better tokenizer 
    tokens = sentence.strip().lower().split(" ") 
    tokenized.append(tokens) 

# Train your model, see gensim documentation for parameters 
model = models.Word2Vec(tokenized, min_count=3, size=50)