분해 작업을 수행 할 메모리가 부족합니다. expipy.sparse.linalg.splu

Question

TieDIE을 사용해 보았습니다. 즉,이 소프트웨어에는 쿼리 노드와 네트워크를 통과 할 때 중요한 서브 네트워크를 찾는 알고리즘이 포함되어 있습니다. 소규모 네트워크의 경우 잘 작동하지만 흥미가있는 네트워크는 꽤 크며 노드 21988 개와 360474 에지이 있습니다. TieDIE는 scipy을 사용하여 초기 네트워크 커널을 생성합니다 (Matlab은 라이센스가없는이 커널을 생성하는 옵션이기도 함). 나는 다음과 같은 오류 얻을이 커널의 생성시 :

Not enough memory to perform factorization. Traceback (most recent call last): 
File "Trials.py", 
line 44, in <module> diffuser = SciPYKernel(network_path) 
File "lib/kernel_scipy.py", 
line 83, in __init__ self.kernel = expm(time_T*L) 
File "/home/agmoreno/TieDIE-trials/TieDIE/local/lib/python2.7/site-packages/scipy/sparse/linalg/matfuncs.py", 
line 602, in expm return _expm(A, use_exact_onenorm='auto') 
File "/home/agmoreno/TieDIE-trials/TieDIE/local/lib/python2.7/site-packages/scipy/sparse/linalg/matfuncs.py", 
line 665, in _expm X = _solve_P_Q(U, V, structure=structure) 
File "/home/agmoreno/TieDIE-trials/TieDIE/local/lib/python2.7/site-packages/scipy/sparse/linalg/matfuncs.py", 
line 699, in _solve_P_Q return spsolve(Q, P) 
File "/home/agmoreno/TieDIE-trials/TieDIE/local/lib/python2.7/site-packages/scipy/sparse/linalg/dsolve/linsolve.py", 
line 198, in spsolve Afactsolve = factorized(A) 
File "/home/agmoreno/TieDIE-trials/TieDIE/local/lib/python2.7/site-packages/scipy/sparse/linalg/dsolve/linsolve.py", 
line 440, in factorized return splu(A).solve 
File "/home/agmoreno/TieDIE-trials/TieDIE/local/lib/python2.7/site-packages/scipy/sparse/linalg/dsolve/linsolve.py", 
line 309, in splu ilu=False, options=_options) 
MemoryError 

무엇 이것에 대해 가장 흥미로운 일이다 나는 64 개 CPU가 클러스터 컴퓨터를 사용하고, 7백기가바이트 또는 RAM 및 소프트웨어 피크 1.3에서하고 있다는 것입니다 ps 모니터링에 따라 메모리 사용량의 10 % (~ 10GB), 나중에 실행 및 분쇄 할 수 있습니다. 나는 RAM의 사용에 제한이 없다는 말을 들었다. 그래서 나는 정말로 일어날 수있는 일에 대해 아무런 단서가 없다. 소프트웨어 개발자는 많은 도움이되지 않는다. ...

아마 누군가는 여기있다. 그것을 대신하거나 해결할 수있는 대안을 찾도록 도와주세요.

하나의 노드 만 사용 중이기 때문에 메모리 오류가 발생할 수 있습니까? 이 경우 노드를 통해 어떻게 작업을 배포 할 수 있습니까?

미리 감사드립니다.

Answer 1

그렇습니다. 매우 큰 네트워크의 경우 단일 노드에서 높은 메모리가 필요합니다. 가장 쉬운 해결책은 물론 해결 방법입니다.

(1) 관련 생물학을 캡처하면서 입력 네트워크의 크기를 줄이는 방법이 있습니까? 어쩌면 입력 노드에서 2 단계 떨어진 모든 노드를 찾을 수 있을까요?

가

(2) 당신을 위해 확산을 수행하는 새로운 Cytoscape API를 사용 : http://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1005598 (https://github.com/idekerlab/heat-diffusion)

가 이

(3)를 사용하여 페이지 랭크 (PageRank) 대신에 우리가 보여준 바와 같이, (좋지 않은 열 커널 컴퓨팅의 확산 경향이 생물 네트워크에서 더 잘 작동하도록).

희망이 도움이됩니다. -Evan Paull (TieDIE 개발자/수석 저자)