azure-data-factory

-1열

1답변

Azure 데이터 팩토리를 통해 파이프 라인을 구축 중입니다. 입력 데이터 세트는 열 구분 기호가있는 csv 파일이고 출력 데이터 세트는 csv 파일 열 구분 기호입니다. 파이프 라인은 확장명이 .hql 인 파일에서 하이브 쿼리를 통해 HDinsight 활동으로 설계되었습니다. 다음은 set hive.exec.dynamic.partition.mode=non

0열

1답변

데이터 팩토리가 서로 다른 시간 간격으로 데이터 세트를 사용합니다.

데이터 팩토리를 처음 사용하고 두 개의 파이프 라인이 있습니다. 파이프 라인는 활동마다 30 minutes을 실행하고 데이터 집합를 생성하는가 포함되어 있습니다. 활동 A는 데이터 호수 저장소에 .csv 파일을 생성하는 복사 작업입니다. 파이프 라인 B마다 한 번씩 24 hours를 실행하고 데이터 집합가 필요한 활동 B가 포함되어 있습니다. 파이프 라인

0열

1답변

Azure ADF sliceIdentifierColumnName이 올바르게 채워지지 않습니다.

sliceIdentifierColumnName을 사용하여 ADF 파이프 라인을 설정했으며 예상대로 GUID 필드를 채우는 데 성공했습니다. 최근에는이 필드가 채워지지 않고 새로 고침이 작동하지만 sliceIdentifierColumnName 필드의 값은 null이거나이 필드를 값 1로 채우려고 시도 할 때로드가 실패 할 때가 있습니다. 이로 인해 슬라이스로

1열

1답변

파일 스트림에서 ADLS로 업로드

ADF에서 Azure Storage Blob에서 여러 파일을 읽고, 일부 작업을 수행 한 다음 최종 파일을 Azure Data Lake Store에 쓰는 사용자 지정 활동을 만들고 있습니다. 마지막 단계는 내가 볼 수있는 한 .NET SDK가 로컬 파일에서 업로드 만 허용하기 때문에 멈추는 단계입니다. 로컬 파일에서 이 아닌 인 파일을 (프로그래밍 방식으로

0열

2답변

Azure 데이터 팩토리 파이프 라인에서 시작 시간 설정

현재 데이터 내보내기 중 하나의 파이프 라인을 설정 중입니다. 파이프 라인 스케줄러에서 내 기대는 다음과 같습니다 - 파이프 라인 스케줄러가 PST 시간 매일 오전 12시 트리거 취득해야 - 현재 & 종료 시간 구성을 내 시작되어 다음과 같이 : 내 이해 당으로 "start": "2017-10-10T07:00:00Z", "end": "2017-1

0열

1답변

활동 이름으로 구성 파일을 사용하여 azure adf 파이프 라인에 매개 변수 전달

활동 번호에 따라 매개 변수를 ADF 파이프 라인에 전달하는 아래의 구성 파일이 있습니다. 하지만 필자는 액티비티 이름에 따라 전달해야합니다. 파이프 라인을 재정렬하면 필자의 구성 파일을 다시 구성하지 않아도되기 때문에 작업 이름에 따라 식별됩니다. "PL_DATA_IL_Omni_Attend": [ { "name": "$.properti

1열

1답변

출력에 폴더 이름을 추출하는 USQL

data lake에서 폴더 이름을 추출하여 해당 파일을 csv 파일에 열을 출력하려고합니다. USQL을 통해 전체 폴더 이름 또는 폴더 이름의 일부를 추출하는 방법이 있습니까? 예 : /input/Testing - Testing이 필요합니다. // Filesets, file set with virtual column @q = EXTRACT rowId

-1열

3답변

MYSQL 변경 데이터 캡처 (Azure Data Factory)

MYSQL 데이터베이스의 데이터 테이블에서 ETL 작업을 수행하고 데이터를 푸른 데이터웨어 하우스에 저장하려고합니다. 그 기간 동안 수정 된 레코드를 식별하려면 업데이트 날짜 열이 없습니다. 어떤 레코드가 수정되었는지 어떻게 알 수 있습니까? MYSQL 데이터베이스가 CDC를 지원합니까? 하늘 서비스 (Azure 데이터 팩토리)를 사용하여 MYSQL bin

0열

3답변

Azure 데이터 팩토리를 사용하여 Data Lake Store (JSON 파일)에서 Azure Search로 데이터 이동

json 파일을 Azure Data Lake에서 Azure Search로 이동하려고합니다. 을 CSV '처리 할 때 유형이 = Microsoft.DataTransfer.Common.Shared.HybridDeliveryException이 메시지 = 오류 발견', ErrorCode가 = UserErrorSourceDataContainsMoreColumnsTh

1열

1답변

Set-AzureRmDataFactoryV2가 cmdlet의 이름으로 인식되지 않습니다.

데이터 팩터의 미리보기 버전을 사용하려고합니다. 그러나 PowerShell에서 Set-AzureRmDataFactoryV2 명령을 사용하여 새 데이터 팩토리를 만들려고 할 때. 오류를 반환합니다. "Set-AzureRmDataFactoryV2"라는 용어는 cmdlet의 이름으로 인식되지 않습니다. 누구든지 도와 줄 수 있습니까? 감사합니다