kryo

1열

2답변

특수 클래스 용 클래스 객체를 가져와야합니다. 예 : import breeze.linalg.DenseVector val compileTimeClass = classOf[DenseVector[Double]] println(compileTimeClass) val denseVector = DenseVector(0.5, 1.0, 1.0, 0.5) pri

1열

1답변

kryo 시리얼 라이저를 사용하여 특정 유형의 목록을 작성하는 방법

Kryo 시리얼 라이저를 사용하여 특정 유형의 목록을 쓰려고하는데 읽기/쓰기를 시도 할 때 오류가 발생합니다. 내가 KryoRegistrator 위해 아파치 스파크에 의해 제공되는 소스를 사용하고 나는 쓰기를 시도하고 목록 ArrayList에 또는 목록의 다른 유형이 될 수 타입 List<A>이다 코드 Class FakeRegsitrator implemen

10열

1답변

Kryo 충돌 EnvironmentFailureException

나는 사용자 정의 클래스의 일부 개체를 직렬화하기 위해 노력하고있어 나는 다음과 같은 예외가 있어요 : com.esotericsoftware.kryo.KryoException: com.sleepycat.je.EnvironmentFailureException: (JE 5.0.73) IdentityHashMap.entrySet() should not be us

1열

2답변

Hazelcast, Kryo, JsonNode Serializer

배포 된 MAP을 항목으로 사용하여 Hazelcast 응용 프로그램을 구현 중입니다. private final ObjectReader jsonNodeReader; private final ObjectWriter jsonNodeWriter; @Override public void write(ObjectDataOutput out, JsonNode jso

1열

1답변

kryo를 사용하여 protobuf를 직렬화 할 때의 문제

Java에서 자체 serializer를 구현했습니다. 이것을 abcSerializer라고 부를 수 있습니다. 직렬화하려고하는 객체는 abc이며 Google 프로토콜 버퍼 클래스입니다. 이 개체를 직렬화하기 위해 kryo frame work를 사용하려고합니다. 연구와 구글 이상의 독서 후, 나는 kryo 시리얼 라이저를 계속 진행하기로 결정했다. 나는 어떤

3열

3답변

Spark에서 Kryo 직렬화를 언제 사용합니까?

나는 이미 conf.set("spark.rdd.compress","true")과 persist(MEMORY_AND_DISK_SER)을 사용하여 RDD를 압축하고 있습니다. Kryo 직렬화를 사용하면 프로그램이 더 효율적으로 만들어 집니까, 아니면이 경우 유용하지 않습니까? 나는 Kryo가 더 효율적인 방법으로 노드들간에 데이터를 보내기위한 것이라는 것을 알

1열

1답변

Registring Kryo 클래스

작동하지 않습니다 나는이 다음 코드 : val conf = new SparkConf().setAppName("MyApp") val sc = new SparkContext(conf) conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer") new conf.registerKryo

0열

1답변

Kryo ClassNotFoundException 갑자기 발생했습니다.

많은 게시물을 읽은 후 kryo에 대한 내 답변에 대한 답변을 찾지 못했습니다. 우리는 두 서버 사이에 매우 많은 양의 메시지를 직렬화/비 직렬화하는 Kryo (v4.0.0)를 구현하려고합니다. 우리의 문제는 직렬화/역 직렬화가 다음과 같은 예외가 작업을 중단 갑자기 몇 분 (그래서 더 천 이상의 메시지) 동안 잘 작동 할 수 있다는 것입니다 : 2016-

1열

1답변

Spark 2.0으로 업그레이드 할 때 크라이 오 등록 문제가 발생했습니다.

Spark 1.6.2에서 Spark 2.0.2로 응용 프로그램을 업그레이드하고 있습니다. 이 문제는 엄격하게 스파크 관련 문제가 아닙니다. Spark 1.6.2에는 Kryo 2.21이 포함되어 있습니다. Spark 2.0.2에는 Kryo 3.0.3이 포함되어 있습니다. 응용 프로그램은 HDFS에 Kryo와 직렬화 된 일부 데이터를 저장합니다. 공간을 절약하

2열

1답변

Kryo 라이브러리에 maven shade-package 단계에서 "overlapping classes"경고가 표시됩니다.

음영 처리 된 jar 파일을 만들려고하지만 그늘 플러그인이 경고를 표시합니다. 수정 방법을 잘 모르겠습니다. 여기 내 pom.xml 파일 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/200