R의 기계 학습 패키지를 큰 데이터 세트에 적용하십시오.

Question

데이터 세트가 약 1GB로 메모리에 맞지 않습니다 (R을 LM에 적용하면 메모리를 소비하는 다른 변수도 생성되기 때문에).). 이 상황에서 분석을 수행하기 위해 R에서 좋은 기계 학습 패키지 (예 : glm, 임의의 포리스트, 신경망)를 계속 사용하는 방법이 있는지 궁금합니다. 나는 어떤 제안과 참고를 주셔서 감사합니다.

Answer 1

자세한 내용은 대용량 메모리 및 메모리 부족 데이터 섹션의 high-performance task view on CRAN을 참조하십시오.

또는 비용을 지불해야하지만 Microsoft R Server을 사용해보십시오. 이전에 Revolution R Enterprise로 알려진 MRS는 대규모 데이터 세트로 작업 할 때 메모리 장벽을 없애기 위해 설계되었습니다. Windows 및 Linux 모두에서 사용할 수 있으며 SQL Server, Teradata, Hadoop (Cloudera, Hortonworks 및 HDInsight) 및 Spark를 사용하여 데이터베이스 내 분석을 수행 할 수도 있습니다.

공개 : 전 Microsoft 직원입니다.

Answer 2

Spark를 사용할 수 있다면 sparklyr (무료)을 고려하십시오.