user-defined-functions

1열

1답변

이의 내가 입력으로이 개 수치를 취하는 R 함수를 정의한다고 가정 해 봅시다 : effectifTouche <- function(audience, extrapolated){ TM = audience/1000000 VE= extrapolated/100 TME = TM * VE nbVis = TME/1000000.1 return (nbVis) }

-1열

1답변

Pyspark2가 교체 되나요? 데이터 있음

물음표가 있습니까? " 내 데이터에. "이름"이라고하는 내 칼럼에서. 이 물음표는 "?" 내 데이터에서 null 값으로 작동합니다. 어떻게 대체합니까? NaN과. pyspark2를 사용 , 나는 from pyspark.sql.functions import regexp_replace, col data = data.select(regexp_replace(c

0열

2답변

PySpark에서 브로드 캐스팅 된 객체를 사용하여 UDF를 호출 할 때 오류가 발생했습니다.

PySpark에서 브로드 캐스트 된 객체를 사용하는 UDF를 호출하려고합니다. 여기 상황 및 오류를 재현 최소한의 예입니다 import pyspark.sql.functions as sf from pyspark.sql.types import LongType class SquareClass: def compute(self, n): r

0열

1답변

사용자 정의 udf를 실행하는 중 오류가 발생했습니다.

안녕하세요, 저는 null 값을 가지고있는 문자열 필드 fc가 있으므로 sqoop에서 데이터를 가져온 하이브 테이블을 가지고 있습니다. 다른 모든 값은 숫자 형식입니다. 나는 값이 1000이 해당 열의 널 (null)이있다 얻을 수 있도록 나는 UDF를 작성했습니다, 그것이 null가 아닌 경우 내가 같은 value.My의 UDF 코드는 아래 package

0열

1답변

Spark 2.1 functionRegistry에 UDF를 등록하십시오.

안녕하세요, 이미 생성 된 UDF 객체를 등록하고 싶습니다. Spark 2.1을 사용 중이며 sparkSession.udf.register() 함수는 UDF 매개 변수를 일반 스칼라 함수 만 허용하지 않습니다. 큰 Spark API에서 뭔가를 놓치기 쉽습니다. 그래서 2.1에서 이것을 허용 할 함수 나 생성자가 있습니까? 이 경우

-1열

1답변

사용자 정의 함수 R 하위 집합을 만들고 합산하기위한 함수

데이터베이스에 벡터를 만드는 함수를 정의하는 데 도움이 필요합니다. 각 행에 대해 함수는 해당 데이터베이스의 다른 열을 살펴보고 지정된 값에서 해당 값을 검색합니다 열을 검색하고, 일치하는 모든 행으로 구성된 해당 두 번째 데이터베이스의 서브 세트를 작성하고, 새 서브 세트의 개별 컬럼을 합한 다음, 해당 값을 원래 데이터베이스의 새 컬럼의 해당 행에 리턴

0열

1답변

데이터 스파이크를 찾는 디버깅 프로그램

내 프로그램에서 스파이크 100 (psi)을 찾고 있으므로 데이터 포인트 0에서 인쇄 할 때 100보다 높고 -1이어야합니다. 필자는 하루 종일 함께 일해 왔지만 나의 삶을 위해 스파이크를 잡을 수는 없습니다. 필자는 조건부를 추가하고, 그것을 제거하고, 내가 완성 할 수있는 조건을 추가했다. 누군가가 내 코드를보고 스파이크를 캡처하는 좋은 방법을 찾을 수

0열

1답변

python에서 파일을 2D 목록으로 읽은 후 함수를 사용하여 2D 목록을 비우지 마십시오.

텍스트 파일에서 다음 형식으로 읽습니다. ola, 2 ola, 4 OLA, 6 그리고 난이 목록에있는 모든 예비 요소 제거 읽기 기능을 사용하여이 파일을 읽어 import csv def read(name,practicef): temp=[] name=name+".txt" practicef = list(csv.reader(open

2열

1답변

DataFrame을 Spark UDF의 입력으로 전달하는 방법은 무엇입니까?

데이터 프레임이 있고 각 행에 함수를 적용하고 싶습니다. 이 기능은 다른 데이터 프레임에 따라 다릅니다. 간단한 예. 나는 세 가지 dataframes 아래와 같이 가지고, 내가 먼저 행 즉 df_other_1 및 df_other_2에서 feat1 및 feat2의 고유 한 상위 값을 수집 할 df의 각 행에 대해 df = sc.parallelize([

0열

2답변

FAILED : SemanticException [오류 10014] : 줄 1 : 21 잘못된 인수 'stock_price_high':

저는 Hive에 익숙하며 Hive 명령 줄에서 UDF를 만들고 사용하려고합니다. 예제 NYSE 데이터 세트를 기반으로 주식의 공분산을 계산하는 자바 코드를 만들었습니다. 다음은 자바의 코드는 다음과 같습니다 package udf; import org.apache.hadoop.hive.ql.exec.UDF; public class CoVariance