scala

    0

    1답변

    내가 함께 일하고 는 스파크 설정 다음 maxCores = 5 driverMemory=2g executorMemory=17g executorInstances=100 는 문제 : 100 개 집행 인 중, 내 작업이 10 활성 집행과 끝, 그럼에도 불구하고 충분한 메모리를 사용할 수 있습니다 . 심지어 집행자를 250으로 설정하려고 시도한 것은 10

    0

    1답변

    Solr 6을 사용 중이며 채우려고합니다. object testChildDocToSolr { def main(args: Array[String]): Unit = { setProperty("hadoop.home.dir", "c:\\winutils\\") val sparkSession = SparkSession.builder()

    0

    1답변

    나는 데이터가 여기에 Segment.organizationId|^|Segment.segmentId|^|SegmentType|^|SegmentName|^|SegmentName.languageId|^|SegmentLocalLanguageLabel|^|SegmentLocalLanguageLabel.languageId|^|ValidFromPeriodEndDate|

    0

    1답변

    나는 다음과 같은 테스트 코드가 : 그것은 다음과 같은 출력을 생성 import scala.concurrent.{Await, Future} import scala.concurrent.duration.Duration import scala.util.Success import scala.concurrent.ExecutionContext.Implicits

    0

    1답변

    몇 가지 동시 HTTP GET 요청을 보내고 모든 응답이 만료 될 때까지 대기하는 함수를 작성한다고 가정합니다. 하나 이상의 응답이 상태가 200이 아니거나 제한 시간 내에 있지 않으면 내 함수가 실패를 반환해야합니다. 나는 이런 식으로이 기능 tryGets을 쓰고 있어요 :는 import java.net.URL import scala.concurren

    1

    3답변

    다음은 XML입니다. 키가 셀의 첫 번째 값이고 값이 두 번째 값인 Map[String,String]을 만들고 싶습니다. Map["Active" -> "A","Cancelled"->"c"......] <?xml version="1.0" encoding="UTF-8" ?> <dvm name="Mapping" xmlns="http://xmlns.oracle.

    1

    1답변

    나는 촉발하는 새로운 오전과 내가 JSON 데이터에 대한 스키마를 정의하려고 노력하고 (스파크 쉘에서 다음과 같은 오류에 달렸다, <console>:28: error: overloaded method value apply with alternatives: (fields: Array[org.apache.spark.sql.types.StructFiel

    0

    1답변

    큰 시스템 내에서 처리되는 파일의 진행을 모니터하고 지속시키는 유틸리티를 빌드 중입니다. 이 파일은 큰 "text"파일 인 .csv, .xls, .txt 등입니다.이 파일은 Kafka에서 스트리밍 데이터로, Avro에 쓰거나 SQL DB로 대량 배치로 작성할 수 있습니다. 나는 처리 된 행의 수를 기록하고 RESTful API 호출을 사용하여 DB에 진행을

    0

    1답변

    사례 클래스에 대한 테스트 케이스를 작성할 수 있습니까? 그렇다면 Junit을 사용하여 스칼라에서 case 클래스의 테스트 케이스를 작성하는 방법. 내 샘플 케이스 클래스는 물론 case class SampleClass(userId: Int, userName: String)

    1

    1답변

    JsValue를 사용자 정의 클래스로 변환하려면이 코드를 사용하십시오. def Foo(today : String):String = { implicit def read (js: JsValue) : Reads[ResponseBasicModel[String]] = Reads[ResponseBasicModel[String]]( js => JsSu