Akka ByteString을 Spark 데이터 세트에서 사용하는 방법

Question

일부 기존 코드로 인해 Akka의 ByteString을 Spark 데이터 세트에 사용해야합니다 (따라서 Array[Byte]과 같은 다른 것은 사용할 수 없습니다). 하지만 Spark은 ByteString이라는 간단한 사용법을 제외하고 다음 예외를 throw합니다. 데이터 세트에서 어떻게 사용해야합니까?

// Code 
context.session.range(1, 10).map(i => akka.util.ByteString(i.toString)) 

// Exception 
[error] Exception in thread "main" scala.MatchError: akka.util.ByteString (of class scala.reflect.internal.Types$ClassNoArgsTypeRef)                    
[error]   at org.apache.spark.sql.catalyst.ScalaReflection$.org$apache$spark$sql$catalyst$ScalaReflection$$serializerFor(ScalaReflection.scala:496)               
[error]   at org.apache.spark.sql.catalyst.ScalaReflection$.serializerFor(ScalaReflection.scala:438)                           
[error]   at org.apache.spark.sql.catalyst.encoders.ExpressionEncoder$.apply(ExpressionEncoder.scala:71)                          
[error]   at org.apache.spark.sql.SQLImplicits.newSequenceEncoder(SQLImplicits.scala:167)   

Answer 1

당신은 몇 가지 방법으로 그것을 할 수 있습니다 :

scala> val akkaByteString = ByteString("xyz") 
akkaByteString: akka.util.ByteString = ByteString(120, 121, 122) 

scala> akkaByteString.utf8String 
res0: String = xyz 

scala> akkaByteString.decodeString("US-ASCII") 
res1: String = xyz 

https://github.com/akka/akka/blob/master/akka-actor/src/main/scala/akka/util/ByteString.scala#L794