2017-12-06 8 views
0

나는 Lucene 인덱스가 1 억 2 천만 개가 넘고,이 시점까지 원활하고 신속하게 작업하고 있습니다. 는 분류 작가 캐시 함께 할 수있는 뭔가가이 추적을 통해이 메모리 문제는 22gig 지수, 또는 뭔가 다른에 의한 경우Lucene Taxonomy Writer Overflowing?

java.lang.ArrayIndexOutOfBoundsException: -65536 
lemur at org.apache.lucene.util.ByteBlockPool.setBytesRef(ByteBlockPool.java:308) 
lemur at org.apache.lucene.util.BytesRefHash.equals(BytesRefHash.java:183) 
lemur at org.apache.lucene.util.BytesRefHash.findHash(BytesRefHash.java:330) 
lemur at org.apache.lucene.util.BytesRefHash.find(BytesRefHash.java:319) 
lemur at org.apache.lucene.facet.taxonomy.writercache.UTF8TaxonomyWriterCache.get(UTF8TaxonomyWriterCache.java:65) 
lemur at org.apache.lucene.facet.taxonomy.directory.DirectoryTaxonomyWriter.addCategory(DirectoryTaxonomyWriter.java:411) 
lemur at org.apache.lucene.facet.FacetsConfig.processFacetFields(FacetsConfig.java:322) 
lemur at org.apache.lucene.facet.FacetsConfig.build(FacetsConfig.java:285) 

잘 모르겠지만, 파고 그러나, 오늘은 받기 시작 체계. 나는 이것이 동일한 레코드로 일관되게 일어나지는 않지만, 어떤 종류의 메모리 오버 플로우 문제처럼 보이는지 확인했습니다. 불행히도, 여기에서 무엇을해야할지, 아니면 실제 문제를 이해하는 올바른 길을 걷고 있는지에 대해서는 잘 모릅니다.

답변

0

추가 파고가 난 후에 UTF8TaxonomyWriterCache은 큰 데이터를위한 좋은 캐싱 메커니즘이 아니라는 것을 알 수있었습니다. LruTaxonomyWriterCache을 사용하여 전환 한 후 모든 것이 원활하게 다시 작동합니다.