kryo

0열

1답변

하이브 - GenericUDTF - kryo stackoverflow 예외로 인해 runQuery가 실패 함

HiveServer2; 하이브 버전 : 1.2 사용자 정의 UDF 클래스 (GenericUDTF 구현)를 포함하는 쿼리를 실행하려고합니다. UDF 클래스에는 계산에 사용하는 트리 개체가 포함되어 있습니다. 트리가 작 으면 쿼리가 제대로 실행됩니다. org.apache에서 실행 오류, 리턴 코드 -101 : org.apache.hive.service.cli.

1열

2답변

kryo serialization over storm

아파치 스톰 (원격 클러스터에 배포 됨)보다 복잡한 객체 (opencv : Mat)를 직렬화해야합니다. 누구든지 나에게 좋은 튜토리얼 맞춤 kryo 직렬화를 제안하거나 이것을 수행하는 방법에 대한 해결책을 제안 할 수 있습니까? 미리 감사드립니다.

1열

1답변

KryoException : Linux에서만 클래스를 찾을 수 없습니다.

Linux 서버에서 객체를 역 직렬화 할 때 다음 예외가 발생하지만 Windows PC에서는 정상적으로 작동합니다. 스레드 "주요"com.esotericsoftware.kryo.KryoException에는 예외 : 찾을 수 없습니다 클래스 : CLASS_PATH 객체 직렬화 및 로컬 해제 직렬화 전용 (서버 또는 PC) 내가 경로를 확인하다 동일한 대문자/

1열

1답변

맞춤 시리얼 변환기로 avro에서 읽을 때 런타임 유형이 잘못되었습니다.

avro 파일에서 Kryo를 사용하여 RDD로 데이터를 읽으려고합니다. 내 코드는 잘 컴파일되지만 런타임에는 ClassCastException이 표시됩니다. 여기에 내 코드가하는 일입니다 : MyKryoRegistrator이 MyCustomClass에 대한 시리얼을 등록 SparkConf conf = new SparkConf()... conf.set("s

1열

1답변

IMap의 색인이 Kryo 직렬화에서 작동합니까?

저는 Hazelcast IMap을 만들고 값에 대한 색인 필드를 정의했습니다. 색인이 Kryo 직렬화와 함께 작동합니까? 이전 버전의 Hazelcast 인덱스에서는 메모리 내 포맷이 OBJECT 일 때만 사용된다는 것을 기억합니다.

0열

1답변

Akka Remoting : org.opencv.core.Mat 용 사용자 정의 Kryo 시리얼 라이저

예를 들어, 다음을 나타내는 org.opencv.core.Mat 객체 용 Kryo 시리얼 라이저를 구현하는 데 문제가 있습니다. 비디오 파일의 프레임. Akka ActorSystem A는 그 안에있는 물체를 탐지하기 위해 그레이 스케일의 비디오 프레임을 시스템 B로 보냅니다 (이 아니라 akka-cluster이 아님). 이를 위해 Mat 타입의 프레임을 직

1열

1답변

Spark kryo serialization register 데이터 유형 []

spark에서 kryo serialization을 강제로 사용하려면 다음 옵션을 spark.kryo.registrationRequired으로 설정할 수 있습니다. org.apache.spark.sql.types.DataType[]은 어떻게 등록 할 수 있습니까? Class is not registered: org.apache.spark.sql.types.D

2열

1답변

스파크 kryo_serializers 및 방송 <지도 <개체의 Iterable <GowallaDataLocation >>> 때 java.io.IOException : 나는 방송 변수에 액세스하려고하면 java.lang.UnsupportedOperationException가

나는이 예외가 나타날 수 17/03/26 03:04:23 WAR TaskSetManager : 3.0 단계 (TID 10, 192.168.56.5, executor 1)에서 작업 분실 0.0 : java.io.IOException : java.lang.UnsupportedOperationException at org.apache.spark.util. Uti

2열

1답변

스파크 스트리밍 : com.esotericsoftware.kryo.KryoException : java.lang.IllegalArgumentException : 클래스가 등록되지 않았습니다 : scala.Tuple2 $ mcJZ $ sp

스파크 스트리밍에서 Kryo Serializer를 사용하려고합니다. 나는 Spark tuning docs 읽어 그 - 당신이 사용자 정의 클래스를 등록하지 않는 경우 마지막으로, Kryo 여전히 작동하지만 그것은 낭비 각 개체, 와 전체 클래스 이름을 저장해야합니다 것입니다. 그래서 모든 클래스를 등록하려고합니다. trait Message extends j

0열

1답변

Apache spark - 속성을 잘못 입력하면 어떻게됩니까?

Apache spark의 기본 속성을 수정 중입니다. AWS에서 EMR을 사용하여 클러스터를 회전시킵니다. 그러나 속성을 설정하고 새로운 구성이 기본 구성을 대체하는지 확인하는 방법을 잘 모릅니다. 예를 들어, Spark에서 기본 직렬화를 수정하려고합니다. 따라서 클러스터를 만들 때 다음 구성을 제공합니다. "분류": "스파크 기본값" "속성": { "sp