대용량 파일의 문자 계산 중 메모리 부족 문제가 발생했습니다.

Question

대용량 파일에서 각 문자의 발생 횟수를 계산하고 싶습니다. 하스켈에서 엄격한 방식으로 계산을해야한다는 것을 알고 있지만 (foldl '을 사용하여 달성하려고 시도 했음) 여전히 메모리가 부족합니다. 비교를 위해 파일 크기는 약 2GB이고 컴퓨터에는 100GB의 메모리가 있습니다. 그 파일에 다른 문자가 많지 않습니다. 어쩌면 20. 내가 뭘 잘못하고 있니?

ins :: [(Char,Int)] -> Char -> [(Char,Int)] 
ins [] c = [(c,1)] 
ins ((c,i):cs) d 
    | c == d = (c,i+1):cs 
    | otherwise = (c,i) : ins cs d 

main = do 
    [file] <- getArgs 
    txt <- readFile file 
    print $ foldl' ins [] txt 

Answer 1

귀하의 ins 기능은 memory leak의 많은 원인이 thunks의 톤을 만드는 것입니다. foldl'은 여기서 충분하지 않은 weak head normal form으로 평가됩니다. 필요한 것은 deepseq부터 Control.DeepSeq까지이며, 정상형이됩니다.

또는 연결 목록 대신 카운트 용으로 Data.Map.Strict을 사용하십시오. 또한 입출력이 2GB의 순서 인 경우 일반 문자열 대신 lazy ByteString을 사용하는 것이 좋습니다.

벨로 코드를 입력의 크기에 관계없이 일정한 메모리 공간에서 수행해야합니다 : 난 당신이 읽을 것을 권장

import System.Environment (getArgs) 
import Data.Map.Strict (empty, alter) 
import qualified Data.ByteString.Lazy.Char8 as B 

main :: IO() 
main = getArgs >>= B.readFile . head >>= print . B.foldl' go empty 
    where 
    go = flip $ alter inc 
    inc :: Maybe Int -> Maybe Int 
    inc Nothing = Just 1 
    inc (Just i) = Just $ i + 1