SparseVectorsFromSequenceFiles의 메모리 구현이 있는가, 내가지도를 실행 두싯에 의해 제공되는 <code>SparseVectorsFromSequenceFiles</code>, <code>RowIdJob</code> 및 <code>RowSimilarityJob</code> 하둡 작업을 사용하여 잠재 의미 분석을 수행하는 방법에 대한 일한지

Question

RowIdJob 및 RowSimilarityJob 작업/작업을 줄일 수 있습니다. 나는 메모리에서 실행되는 이러한 기능을 단일 스레드 또는 바람직하게는 다중 스레드에서 실행하는 등가 구현을 찾으려고 노력했습니다.

그런 것이 있습니까?

Answer 1

나는 그렇게 생각하지 않는다. 그러나 쓰는 것은 사소할 것이다. SequenceFile.Reader을 열어 각 레코드에 대해 Writable 값에서 Vector을 가져 와서 원하는대로 처리하십시오. 코드 10 줄이고 도구로 사용할 가치가없는 코드 일 것입니다.