kryo

-2열

1답변

스파크 - 작업하지 직렬화 : java.io.NotSerializableException : java.lang.reflect.Field의

내 스파크 작업 중 하나에 오류가 아래 얻고 있었다 - 작업하지 직렬화 : java.io.NotSerializableException : java.lang.reflect.Field의 은 내가 메모리에서 java.lang.reflect.Field의 배열을 유지하는 사용 된 폐쇄 중 하나의 클래스를 한 것을 깨달았다. java.lang.reflect.Field

1열

1답변

ProtoBuf 필드의 컬렉션에서 Kryo Serialization 문제가 발생했습니다.

Kryo 시리얼 라이저를 사용하는 Spark (v1.6.1) 응용 프로그램의 Kafka에서 protobuf 객체를 받았습니다. org.apache.spark.SparkException: Job aborted due to stage failure: Task 1 in stage 18.0 failed 4 times, most recent failure: Lost

6열

1답변

카프카 다이렉트 스트림이 모든 메시지에 대해 새로운 디코더를 만드는 이유는 무엇입니까?

자바로 작성되고 Spark 2.1을 사용하는 Spark 스트리밍 앱이 있습니다. 카프카에서 메시지를 읽기 위해 KafkaUtils.createDirectStream을 사용하고 있습니다. kafka 메시지에 kryo 인코더/디코더를 사용하고 있습니다. Spark이 메시지를 마이크로 일괄 처리로 가져 오면 메시지가 kryo 디코더를 사용하여 성공적으로 디코딩됩

1열

1답변

경고 : [Kryo] 클래스 x를 Kryo 's ClassLoader로로드 할 수 없습니다.

경고 : [kryo] 클래스 slade.core.Child를 kryo의 ClassLoader로로드 할 수 없습니다. 현재와 다시 시도 ... 클래스를 찾을 수 없습니다 : 직렬화 추적 slade.core.Child : 아이 (slade.core.Parent) 를 내가 문제 곳이 Kryo는 루트 객체 유형 내에 포함 된 사용자 정의 객체 유형을 비 직렬화

3열

2답변

Spark : Dataframe Serialization

스파크 직렬화와 관련하여 2 가지 질문이 있습니다. 단순히 인터넷 검색으로 답변을 찾을 수 없습니다. 현재 사용중인 시리얼 라이저의 이름을 어떻게 인쇄 할 수 있습니까? 나는 spark.serializer가 Java인지 Kryo인지를 알고 싶다. 나는 Kryo 직렬화를 사용하기로되어있는 다음 코드를 가지고있다; 데이터 프레임에 사용 된 메모리 크기는 21

0열

1답변

kryo.KryoException을 사용하여 kryo.KryoException에 spark.serializer를 설정합니다. orghibernate.LazyInitializationException

Dao 메서드를 사용하여 (엔터티가 반환 된 후 세션이 닫힌 상태에서) hibernate3을 사용하여 db에서 일부 엔터티를 가져 와서 모든 실행자에 대해 브로드 캐스트합니다. . spark.serializer를 org.apache.spark.serializer.KryoSerializer로 설정 한 후, exception throw : KryoExcepti

1열

1답변

java.lang.IllegalArgumentException : 클래스가 등록되어 있지 않습니다. scala.reflect.ClassTag $$ anon $ 1

Spark, GraphX 2.0.2 및 IntelliJ를 사용하고 있습니다. Class is not registered: org.apache.spark.graphx.impl.GraphImpl 그래서 내가 추가 : 나는 오류가있어 kryo.register(classOf[GraphImpl[Object,Object]]) 을하지만 난이 오류가있어 : j

1열

1답변

스파크 스트리밍 : Google Pubsub의 맞춤 수신기 kryo 등록

나는 Kryo 직렬화와 함께 Spark 2.0.2를 사용하고 있습니다.는 내가 스파크 스트리밍으로 구글 PubSub에서 메시지를 섭취에 대한 사용자 지정 수신기를 구현하려고 해요 :, 내가 일을 직렬화해야한다는이 수신기를 활용하는 스파크 작업을 실행하는 경우에는 class PubSubReceiver(project: String, topic: String,

0열

1답변

Intellij IDE를 사용하여 스칼라 코드로 트위터/차가움 가져 오기

스칼라로 일부 과제를 수행해야하며이 언어의 초보자입니다. 과제에서 Prof는 Twitter/Chill을 사용하여 직렬화 및 직렬화를 구현하도록 요청합니다. https://github.com/twitter/chill/ 그러나 libary를 내 IDE Intellij로 가져 오는 방법을 알지 못합니다. 사용할 때마다 val instantiator = new S

1열

1답변

Alpakka - S3에서 Kryo 직렬화 된 객체를 읽습니다.

S3 (수천 개의 직렬화 된 객체)에 Kryo 직렬화 된 이진 데이터를 저장했습니다. Alpakka은 data: Source[ByteString, NotUsed]으로 내용을 읽을 수 있습니다. 그러나 Kryo 형식에서는 구분 기호가 사용되지 않으므로 data.via(Framing.delimiter(...))을 사용하여 각 직렬화 된 개체를 ByteStrin