나는 SVD를 계산할 꽤 큰 데이터 세트를 가지고 있는데, 나는 그 매트릭스를 되찾고 싶다. 내 행렬 모양은 : (33388, 104) 이는 많은 행과 행입니다. 80 %의 에너지가 필요합니다. 이는 k=51입니다. 나는 답례로 내 행렬을 반환로 이동, 내가받을 다음과 같은 오류 : operands could not be broadcast together
내가 뭔가를 scalar_product_op :: result_type로 (라인 86) simpe 기본 응용 프로그램의 동일한 작업에 BinaryFunctors.h 실패 TEST(LinearALgebra, SVD) {
Eigen::Matrix3d m;
m << -0.0793311, 0.999997, -1.17221e-07,
1
R 프로그래밍에 익숙하지 않습니다. 수업 과정에서 R을 사용하여 권장 시스템을 구현하고 있습니다. 이미 데이터 테이블을 매트릭스로 변환 한 다음 irlba 기능을 사용하여 SVD = udv를 처리했습니다. 이제 다음과 같은 행렬이 생깁니다. 는 지금은 자신의 기호에 따라 그것들을 분류 할 필요가있다. 예를 들어, 처음 세 개는 (-, -)의 조합이고 마지막
pyspark tf-idf 함수를 적용하고 다음 결과를 얻었습니다. | features |
|----------|
| (35,[7,9,11,12,19,26,33],[1.2039728043259361,1.2039728043259361,1.2039728043259361,1.6094379124341003,1.6094379124341003,1.609437912
내 컴퓨터에서 tensorflow의 SVD가 numpy보다 훨씬 느리게 실행되는 것을 관찰하고 있습니다. 나는 GTX 1080 GPU를 가지고 있으며 SVD가 적어도 CPU (numpy)를 사용하여 코드를 실행하는 것보다 빠르다고 기대하고 있습니다. 환경 정보 운영 체제 lsb_release -a
No LSB modules are available.
D
대용량의 양수 값 행렬을 계산 한 다음 AWB로 이동하여 일부 주요 고유 벡터 및 고유 값을 복구하는 SVD/고유 점을 계산합니다. 행렬의 가장자리 크기가 100K 이상일 수 있으므로 Spark에서 분산 연산자를 찾고 곧바로 scipy/numpy svd 연산자보다 SVD를 빠르게 수행 할 수 있습니다. 희박하다는 가정을하지 않습니다. 누군가가 스파크를 사용
지출, 주문 빈도, 주문 범위 및 각 범주에서 구매 한 비율 (약 20 개 정도)을 기반으로 고객 그룹을 클러스터링하려고합니다. 아마 간단한 대답 일 것이지만 나는 % 카테고리 구매 열을 표준화 (평균을 빼고 sd로 나눕니다)해야하는지 알 수 없습니다. 내가 표준화하지 않으면 분산의 약 90 %를 4-5 주 구성 요소 (SVD 사용)에서 설명 할 수 있지만
수십억 개의 0이 아닌 항목이 포함 된 3 백만 x 900만의 희소 행렬이 있습니다. R과 Python은 MAXINT가 아닌 항목이 0 인 희소 행렬을 허용하지 않기 때문에 Julia를 사용하는 이유를 발견하게되었습니다. 이 데이터를 표준 편차로 스케일링하는 것은 쉬운 일이 아니지만, 비열한 것은 물론 200+ 테라 바이트 밀도의 고밀도 매트릭스를 생성 할
내 자체 데이터 세트에서 스탠포드 강의에서 언급 한 SVD 방법을 재현하고 싶습니다. 강의 슬라이드는 다음과 같다 내 데이터 세트가 생성 CountVectorizer로부터 처리 <13840x13840 sparse matrix of type '<type 'numpy.int64'>'
with 597828 stored elements in Compressed