왜이 파이썬 스크립트가 파일에 갑자기 쓰는 걸까요?

Question

이 작은 스크립트 파일을 읽는 정규식 각 라인을 일치 시키려고, 다른 파일에 일치하는 라인을 추가합니다 :

regex = re.compile(r"<http://dbtropes.org/resource/Film/.*?> <http://www.w3.org/1999/02/22-rdf-syntax-ns#type> <http://dbtropes.org/resource/Main/.*?> \.") 

with open("dbtropes-v2.nt", "a") as output, open("dbtropes.nt", "rb") as input: 
    for line in input.readlines(): 
     if re.findall(regex,line): 
      output.write(line) 

input.close() 
output.close() 

그러나, 스크립트는 갑자기 약 5 분 후에 중지됩니다. 터미널에 "프로세스가 중지되었습니다"라는 메시지가 표시되고 출력 파일이 비어있게됩니다.

입력 파일은 여기에서 다운로드 할 수 있습니다. http://dbtropes.org/static/dbtropes.zip 4.3Go n-triples 파일입니다.

내 코드에 문제가 있습니까? 다른 것입니까? 어떤 힌트 가이 하나에 감사하겠습니다!

Answer 1

메모리가 부족하여 중단되었습니다. input.readlines()은 줄 목록을 반환하기 전에 전체 파일을 메모리로 읽습니다.

대신에 input을 반복자로 사용하십시오. 한 번에 몇 줄만 읽고, 즉시 반환합니다.

이 작업을 수행하지 마십시오

for line in input.readlines(): 

이렇게 수행

for line in input: 

---

계정에 모든 사람의 조언을 촬영, 프로그램이된다 :

regex = re.compile(r"<http://dbtropes.org/resource/Film/.*?> <http://www.w3.org/1999/02/22-rdf-syntax-ns#type> <http://dbtropes.org/resource/Main/.*?> \.") 

with open("dbtropes.nt", "rb") as input: 
    with open("dbtropes-v2.nt", "a") as output 
     for line in input: 
      if regex.search(line): 
       output.write(line) 

Answer 2

사용 for line in input보다전체 파일을 읽지 못하도록합니다.

사소한 점 : 컨텍스트 관리자로 파일을 열지 않아도 파일을 닫을 필요가 없습니다. 다음과 같이 청소기를 찾을 수 있습니다.

with open("dbtropes-v2.nt", "a") as output 
    with open("dbtropes.nt", "rb") as input: 
      for line in input: 
       if re.findall(regex,line): 
        output.write(line)