Google openrefine이 큰 csv 파일을로드하지 않습니다.

Question

프로젝트를 만들려고 할 때 3,5 수백만 행 (400MB)의의 csv 파일을로드하고 상세 검색을 업로드하지 않습니다. 내가 refine.ini 열고 메모리 제한을 고정,하지만 난 어떻게해야 더 결과

NOTE: This file is not read if you run the Refine executable directly 
# It is only read of you use the refine shell script or refine.bat 

no_proxy="localhost,127.0.0.1" 
#REFINE_PORT=3334 
#REFINE_HOST=127.0.0.1 
#REFINE_WEBAPP=main\webapp 

# Memory and max form size allocations 
#REFINE_MAX_FORM_CONTENT_SIZE=104857600 
REFINE_MEMORY=100000M 

# Set initial java heap space (default: 256M) for better performance with large datasets 
REFINE_MIN_MEMORY=100000M 

# Some sample configurations. These have no defaults. 
#ANT_HOME=C:\grefine\tools\apache-ant-1.8.1 
#JAVA_HOME=C:\Program Files\Java\jdk1.6.0_25 
#JAVA_OPTIONS=-XX:+UseParallelGC -verbose:gc -Drefine.headless=true 
#JAVA_OPTIONS=-Drefine.data_dir=C:\Users\user\AppData\Roaming\OpenRefine 

# Uncomment to increase autosave period to 60 mins (default: 5 minutes) for better performance of long-lasting transformations 
#REFINE_AUTOSAVE_PERIOD=60 

이없는 100% 1037 mb 을 나타냅니다?

Answer 1

내가 수행하여 게시 한 https://groups.google.com/d/msg/openrefine/-loChQe4CNg/eroRAq9_BwAJ에 따르면 350 만 개의 행을 처리하려면 합리적으로 반응하는 프로젝트를 수행하려면 약 8Gb RAM을 할당해야합니다.

OpenRefine changing the port and host when executable is run directly에 설명 된대로 옵션을 설정 한 Windows에서 OpenRefine을 실행하는 경우 exe 파일 또는 bat 파일을 통해 OpenRefine을 시작할 것인지 여부에 따라 다릅니다.

4Gb 이상의 RAM을 할당하려면 반드시 64 비트 Java 버전을 사용해야합니다. Java OpenRefine의 버전이 실행되고 있는지 확인하십시오 (JAVA_HOME에 지정된 Java 사용). 그러나 64 비트 OS에서 32 비트 Java에 4Gb를 할당 할 때 문제가 발생할 수 있습니다 (Maximum Java heap size of a 32-bit JVM on a 64-bit OS 참조)