회귀 모형의 차원 축소를 처리 할 수있는 방법이 있습니까?

Question

나는 약 15GB의 엄청난 양의 훈련 데이터 세트를 가지고 있는데, 모든 유형의 회귀 모델을 훈련하기 위해 컴퓨터 메모리에 맞지 않습니다. 데이터 세트의 각 샘플은 4d 매트릭스입니다. 샘플을 벡터로 전개 할 수 있지만 그 벡터의 차원은 훨씬 커집니다. 선형 회귀 모델을 트레이닝하기 위해 샘플의 차원을 줄이기 위해 사용할 수있는 방법이 있습니까?

Answer 1

선형 모델을 사용하고 있으므로 다음 테스트를 시도해 보는 것이 좋습니다. 이것은 최종 솔루션을 향한 단계이며, 최종 솔루션이 어떻게 생겼는지에 대한 아이디어를 제공해야합니다.

각 차원에 대한 최대, 최소 및 중간 값을 갖도록 데이터를 필터링하십시오. 그러면 계산 가능한 합리적인 크기의 작업 데이터 세트가 생성되어야하고, 더 작은 데이터 세트에 대해 회귀 분석을 수행하면 최종 솔루션 매개 변수에 대한 실용적인 아이디어를 얻을 수 있습니다.