sparse-matrix

0열

1답변

indptr 인덱스 및 데이터에서 indentr 행 시작을 가리 킵니다. 나는 np.savez()에 의해 행렬을 csr 행렬로 변환했다. 1 1 23 195 213 256 284 317 제 1 열 및 상기 제 2 열은 동일한 데이터로 시작하는 것을 말한다 : 그러나, I는 다음과 같이 indptr의 첫번째 요소가 있음을 알아 차렸다. 이 오

0열

1답변

효과적으로 파이썬에서 4D 희소 행렬을 만들고 처리하는 방법

4D 희소 행렬 (21x21x21x21)을 사용하고 있습니다. 요소 중 하나만 1로 설정됩니다. 이후에이 행렬을 벡터화하고 0이 아닌 행을 결정합니다. 전체 프로세스는 계산하는데 약 6 분이 소요됩니다. 이 작업을 파이썬에서 효율적으로 수행 할 수있는 방법이 있습니까? sparseMatrix = np.zeros((21,21,21,21), dtype = np

1열

1답변

희소 행렬의 셀 배열을 합한 것

크기가 인 N-by-N의 희소 행렬이 있습니다. 여기에서 N=65536입니다. 대각선에 가까운 약 5.5M의 0이 아닌 요소 (N^2의 0.13 %)를가집니다. 이들은 셀 배열 S{1}, ... , S{100}에 저장되며 합계는 S{1}+...+S{100}입니다. Sum=sparse(N,N); for i=1:100 Sum=Sum+S{i}; en

0열

1답변

스파 스 매트릭스/객체의`data.table` 표현이 있습니까?

이 게시물에 포함되지 않은 다양한 이유로 프레임 워크 data.table에서 작업하고 싶습니다. data.table에 표시기 매트릭스가 희박한 표현이 있습니까 (예 : Matrix 패키지)? library(Matrix) library(data.table) set.seed(123409L) ints <- sample.int(2L, 1e6, replac

0열

1답변

tf.nn.top_n의 출력을 희소 행렬로 변환

제목으로, 나는 tensorflow의 행렬에서 행당 가장 높은 n 개의 원소를 추출하고 그 결과를 희소한 Tensor에 저장하려고합니다. tf.nn.top_n을 사용하여 인덱스와 값을 추출 할 수 있었지만 인덱스가 tf.SparseTensor에서 요구하는 규칙을 따르지 않았습니다. 특히, tf.nn.top_n은 결과 값 행렬 (행 xn)과 동일한 모양을 갖

0열

2답변

sklearn.svm.LinearSVC와 함께 사용되는 희박한 행렬 표현

각 행 (샘플)이 비트 목록 (~ 200 000 비트)으로 표시되는 큰 데이터 세트 (10 000 행)가 있습니다. 각 비트는 부재 또는 샘플에 지형지 물의 존재 여부를 나타냅니다. 그래서, 이 큰 (10 000 x 200 000) 높은 차원 스파 스 데이터가 각 샘플에 대해, 나는 단지 비 제로 비트의 인덱스를 저장하고있어, 메모리 공간을 절약하기 위해

0열

1답변

최소 사각형에 대한 SparseQR

응용 프로그램에 대해 나는 잔차를 얻기 위해 큰 데이터 세트에서 선형 회귀 분석을 실행해야합니다. 예를 들어, 하나의 데이터 세트는 차원이 1 백만 x 20k 이상입니다. 더 작은 데이터 세트의 경우 RcppArmadillo 패키지의 fastLm을 사용했습니다. 시간이 지나면 해당 데이터 세트는 1 백만 행을 초과하여 커집니다. 내 솔루션은 희소 행렬과 E

0열

1답변

OpenACC - 스파 스 매트릭스 라이브러리

저는 C++에서 스파 스 매트릭스 계산을 위해 OpenACC를 사용하고 있습니다. OpenACC 영역 내에서 행렬 작업을 사용해야합니다. OpenACC와 호환되는 스파 스 매트릭스 라이브러리가 있습니까? 내가 아이겐 사용 해요하지만 내가 수동으로 좋은 생각을 소리가 나지 않는다 소스 코드를 수정하지 않는 한이 OpenACC와 호환되지 않습니다 것 같다 ..

0열

1답변

pyspark rdd에서 csc_matrix를로드하는 방법

RDD에서로드해야하는 csc_matrix가 부족합니다. 우리는 RDD 친화적 스파 스 벡터에 csc_matrix을 변환 할 수있는 방법이 있나요 sc.parallelize(my_csc_matrix) 그러나, RDD 는 같은 csc_matrix의 직접적인 부하를 지원하지 않습니다?

0열

1답변

DBSCAN (대규모 매트릭스 계산)을 사용한 클러스터링 중 메모리 오류

이상한 데이터를 제거하기 위해 DBSCAN을 사용하여 데이터를 클러스터링합니다. 계산은 scikit-learn에서 DBSCAN의 구현이 거의 1GB의 데이터를 처리 할 수 없기 때문에 매우 많은 메모리를 소비합니다. 문제가 이미 언급되었습니다. here 다음 코드의 병목 현상은 매우 많은 메모리를 소비합니다 (매트릭스 크기 : 10mln x 10mln)