파일 프로세스에 쓰기가 더 효율적입니다.

Question

저는 프로그래밍에 익숙하지 않고 큰 텍스트 파일 (12000 줄 이상)을 정리하고 다른 .txt 파일에 쓰도록이 스크립트를 실행하고 있습니다. 문제는 파일을 작게 (대략 500 줄 정도) 실행하면 빠르게 실행되므로 결과적으로 파일 크기 때문에 시간이 걸리는 것입니다. 따라서 누군가이 코드를 효율적으로 만들 수 있도록 안내해 주시면 매우 감사하겠습니다.

input_file = open('bNEG.txt', 'rt', encoding='utf-8') 
    l_p = LanguageProcessing() 
    sentences=[] 
    for lines in input_file.readlines(): 
     tokeniz = l_p.tokeniz(lines) 
     cleaned_url = l_p.clean_URL(tokeniz) 
     remove_words = l_p.remove_non_englishwords(cleaned_url) 
     stopwords_removed = l_p.remove_stopwords(remove_words) 
     cleaned_sentence=' '.join(str(s) for s in stopwords_removed)+"\n" 
     output_file = open('cNEG.txt', 'w', encoding='utf-8') 
     sentences.append(cleaned_sentence) 
     output_file.writelines(sentences) 
    input_file.close() 
    output_file.close() 

편집 : 아래 답변으로 토론하도록하려면

input_file = open('chromehistory_log.txt', 'rt', encoding='utf-8') 
    output_file = open('dNEG.txt', 'w', encoding='utf-8') 
    l_p = LanguageProcessing() 
    #sentences=[] 
    for lines in input_file.readlines(): 
     #print(lines) 
     tokeniz = l_p.tokeniz(lines) 
     cleaned_url = l_p.clean_URL(tokeniz) 
     remove_words = l_p.remove_non_englishwords(cleaned_url) 
     stopwords_removed = l_p.remove_stopwords(remove_words) 
     #print(stopwords_removed) 
     if stopwords_removed==[]: 
      continue 
     else: 
      cleaned_sentence=' '.join(str(s) for s in stopwords_removed)+"\n" 

     #sentences.append(cleaned_sentence) 
     output_file.writelines(cleaned_sentence) 
    input_file.close() 
    output_file.close() 

Answer 1

내 요구 사항에 맞게 몇 가지 다른 변경과 대답에 언급 한 바와 같이 수정 된 코드입니다 :

두 문제는이 여기 :

출력 파일을 열고 생성하고 루프에 데이터를 쓰십시오 - 입력 파일의 모든 행에 대해 이자형. 추가로 배열의 모든 데이터를 수집합니다 (문장).

이

A) 루프 전에 파일을 만들고 루프에 그냥 "cleaned_sentence"를 쓰기 (및 수집 "문장") 삭제 :

당신은 두 가지 가능성이있다.

b) "문장"의 모든 것을 수집하고 루프 이후에 "문장"을 한 번에 작성하십시오.

a)의 단점은 b)보다 약간 느리다는 것입니다 (OS가 b의 메모리를 스왑하지 않아도 됨). 하지만 이점은 다음과 같습니다. 이것은 파일이 얼마나 크고 컴퓨터의 메모리가 얼마나 적게 설치 되더라도 메모리를 덜 소비하며 작동합니다.