목록을 반복하는 효율적인 방법은 무엇입니까?

Question

Google word2vec에서 중복 된 단어를 찾으려고합니다. 예를 들어 word2vec에는 'Hello'와 'hello'에 대한 두 단어 임베딩이 있습니다. 여기 내 코드는 간단하지만 효율적이지 않습니다. 사전 교육을받은 구글 word2vec 3 만 개 단어를 가지고로

def load_w2v(): 
openfile = '../Pretrained/word2vec/GoogleNews-vectors-negative300.bin' 
model = gensim.models.KeyedVectors.load_word2vec_format(openfile, binary=True) 
return model.vocab.keys() 

if __name__ == '__main__': 
    pre_trained_words = load_w2v() 
    ready_have = [] 
    duplicated_words = [] 
    for word in pre_trained_words: 
     if word.lower() not in ready_have: 
      ready_have.append(word.lower()) 
     else: 
      duplicated_words.append(word) 
      continue 

그러나, 내 컴퓨터는 중복 된 단어를 얻을 수있는 몇 가지 effiencient 방법이 18 시간 동안들이받은하지 완료, 그래서 궁금 해서요되었습니다?

Answer 1

에 대한 귀하의 in 회원 테스트는 각 호출마다 O (N) 시간의 복잡성을 가지므로 접근이 느리다는 것은 놀라운 일이 아닙니다. 당신은 단순히 (read_have의 순서는 중요하지 않습니다 가정) ready_have 세트를 만들고 ready_have.add(word.lower())를 사용하여이 속도를 높일 수있다, 또는 collections.Counter 사용하는 청소기 수 있습니다 : 나는 Counter 솔루션을 믿고있어

from collections import Counter 

my_counter = Counter(word.lower() for word in load_w2v()) 
ready_have, duplicated_words = [], [] 
for word, count in my_counter.items(): 
    read_have.append(word) 
    if count != 1: 
     duplicated_words.append(word) 

주 중복 된 단어는 한 번만 추가하기를 원하지만이 단어는 간단히 변경할 수 있습니다.