line-seq의 동작은 무엇입니까?

Question

doseq으로 반복하지만 첫 번째 요소의 일부분을 고정하면 지연 시퀀스의 동작을 이해하고 싶습니다.

(with-open [log-file-reader (clojure.java.io/reader (clojure.java.io/file input-file-path))] 

    ; Parse line parse-line returns some kind of representation of the line. 
    (let [parsed-lines (map parse-line (line-seq log-file-reader)) 
      first-item (first parsed-lines)] 

      ; Iterate over the parsed lines 
      (doseq [line parsed-lines] 
      ; Do something with a side-effect 
     ))) 

목록을 유지하고 싶지는 않지만 각 요소마다 부작용을 수행하고 싶습니다. 나는 first-item 없이는 아무런 문제가 없을 것이라고 생각합니다.

내 프로그램에 메모리 문제가있어 아마도 parsed-line 시퀀스의 시작 부분에있는 참조를 유지하면 전체 시퀀스가 ​​저장된다는 것을 의미한다고 생각합니다.

정의 된 동작은 무엇입니까? 시퀀스가 저장되는 경우 객체의 복사본을 가져 와서 시퀀스의 실현 된 부분을 가비지 수집 할 수있는 일반적인 방법이 있습니까?

Answer 1

시퀀스 홀딩 여기

... 
(let [parsed-lines (map parse-line (line-seq log-file-reader)) 
... 

파일의 라인의 순서가 생산되고 분석 느리게된다

발생하지만 전체 시퀀스 let의 범위 상에 유지된다. 이 시퀀스는 doseq에서 실현되지만 doseq은 문제가 아니며 시퀀스 보유를 수행하지 않습니다.

... 
(doseq [line parsed-lines] 
; Do something 
... 

당신은 반드시 순서 지주 let의 범위가 제한되어 있기 때문에 let에 신경 쓰지 것이지만, 여기에 아마도 파일이 큰 및/또는 당신이 잠시 동안 let의 동적 범위 내에서 유지, 또는 "무언가"섹션에 포함 된 클로저를 반환 할 수도 있습니다.

첫 번째 시퀀스를 포함하여 시퀀스의 특정 요소를 유지하면 시퀀스가 ​​유지되지 않습니다. head-holding이라는 용어는 머리가 Prolog의 "head of the list"에서처럼 첫 번째 요소라고 생각하면 약간의 잘못된 이름입니다. 문제는 시퀀스에 대한 참조를 보유하고 있습니다.

Answer 2

JVM은 일단 Java 힙의 일부가되면 OS로 메모리를 반환하지 않으며 사용자가 다르게 구성하지 않으면 기본 최대 힙 크기가 매우 큽니다 (일반적으로 사용 가능한 RAM의 1/4). 따라서 "Josh가 OutOfMemoryError를 던졌습니다."보다는 "Gosh, 이것은 많은 메모리를 차지합니다"와 같은 모호한 문제 만 경험한다면 JVM을 원하는대로 조정하지 않았을 것입니다. 행위. partition-by은 little입니다. 한 번에 하나 또는 두 개의 파티션을 보유하고 있지만 파티션이 큰 경우가 아니면이 코드로 힙 공간이 부족해서는 안됩니다. -Xmx100m을 설정하거나 프로그램의 적절한 힙 크기를 생각하고 문제가 있는지 확인하십시오.