2016-11-08 4 views
0

spark 스트리밍 응용 프로그램 (scala)에서 fastutill 클래스를 사용하고 싶습니다. 대신 hashmap을 사용하고 있지만 대신 Spark documentations을 기반으로하며, hashmap .. 대신에 fastutill 클래스를 사용할 것을 제안합니다. 우선, 클래스가 가치가 있는지 알고, hashmap에 대한 빠른 utill에서 equvalent 클래스가 무엇인지 알고 싶습니다.fastutil에서 scala hashmap과 같습니다.

Particulalry 나는

의 HashMap가 [Key_Object이 ArrayBuffer는 [Value_object] ... 나는 당신이 Object2ObjectOpenHashMap.java 찾고있는 생각 fastutill

답변

1

에서 최고의 모음입니다 알고 wnated 해시 맵을 사용하고 있습니다. 일반적인 hashMap 클래스와 같은 역할을합니다. 기본 해싱 함수가 정상적으로 작동합니다. IMO.

해시 충돌을 줄이거 나 성능을 향상 시키려면 Object2ObjectOpenCustomHashMap을 사용하십시오. 해시 맵을 생성 할 때 상황에 맞는 사용자 정의 해시 함수를 제공해야합니다. , FastUtil 당신을 위해 더 잘 작동 할 수있는 다른 종류의 많음을 가지고

하는 것으로,

+0

안녕하세요 here를 찾을 수 있습니다 자신의 문서를 참조하십시오. 답변 해주셔서 감사합니다. '스파크 데이터 프레임'을 'fastutils'컬렉션으로 변환하는 방법을 찾고있다. 이것은 내 질문입니다 : https://stackoverflow.com/questions/47004627/converting-a-dataframe-to-a-it-unimi-dsi-fastutils-objects-collection-spark-sc 당신이 대답 해 주시겠습니까? –