azure-data-lake

3열

2답변

NetCDF 파일에 대한 사용자 지정 추출기를 구현하고이를 출력하기 전에 변수를 메모리에 배열로로드했습니다. 일부 배열은 상당히 클 수 있으므로 ADLA의 메모리 제한이 무엇인지 궁금합니다. 할당 할 수있는 최대 메모리 용량이 있습니까?

0열

1답변

스트림 분석 : 메시지 페이로드를 기반으로 한 동적 출력 경로

저는 Azure IoT 허브에서 발생하는 Avro 형식의 메시지를 소비하는 IoT 분석 솔루션을 개발하고 있습니다. 스트림 애널리틱스를 사용하여 데이터 레이크 및 BLOB 저장소에 메시지를 저장합니다. 핵심 요구 사항은 하위 사용자의 이익을 위해 Avro 컨테이너가 IoT 허브에 제시 될 때와 완전히 똑같이 스토리지에 나타나야한다는 것입니다. 스트림 애널리

1열

1답변

입력 데이터 세트가 작동하지 않습니다.

나는 "DataLakeAnalyticsU-SQL"활동을 사용하여 U-SQL 스크립트를 예약하기 위해 하늘색 데이터 팩토리를 만들었습니다. InputDataset { "name": "InputDataLakeTable", "properties": { "published": false, "type": "AzureDataLakeStore",

2열

1답변

U-SQL 및 파일의 특정 필드만을 사용하여 큰 파일을 파일/디렉토리로 분할하는 방법은 무엇입니까?

나는 각 행에 고객 정보와 상점 ID가 포함 된 매우 큰 CSV를 거래 정보와 함께 가지고 있습니다. 현재 테스트 파일은 약 40GB (약 2 일 소요)이므로 선택 쿼리의 합리적인 반환 시간은 파티셔닝이 절대적으로 필요합니다. 내 질문은 : 파일을 받으면 여러 저장소의 데이터가 포함되어 있습니다. "가상 열"기능을 사용하여이 파일을 각각의 디렉토리 구조로

2열

1답변

U-SQL 실행 로그에 액세스

U-SQL 실행 로그에 액세스 할 수 있습니까? 이것들은 중요한 통계를 수집하기 위해 개발자들에게 노출되어 있습니까? 우리에게 노출 된 API 또는 U-SQL 라이브러리가 이미 있습니까? 감사

0열

1답변

Azure Data Lake 외부 데이터 원본 : 행 크기가 너무 큽니다.

CREATE EXTERNAL TABLE xyz ....FROM LOCATION "dbo.xyz" 및 SELECT * FROM ExternalDataSource EXECUTE @"SELECT a,b,c FROM dbo.xyz WHERE DATALENGTH(a)<128000"으로 외부 Azure Sql Db에서 읽기를 시도하고 행 크기가 너무 큽니다. 원격 데

1열

1답변

푸른 데이터 호수 분석 IOutputter 내가 aa는 로컬 데이터베이스 내 U-SQL 스크립트의 결과를 작성하는 사용자 정의 IOutputter를 사용하고 출력 파일 이름

을 얻을 : OUTPUT @dataset TO "/path/somefilename_{*}.file" USING new CustomOutputter() public class CustomOutputter: IOutputter { public CustomOutputter() { myCustomDatabase.Ope

0열

1답변

Azure 데이터 레이크 분석 IOutputter E_RUNTIME_USER_ROWTOOBIG

사용자 지정 IOutputter의 결과를 로컬 디스크의 중간 파일에 쓰려고합니다. 그 후 데이터베이스 파일 (~ 20MB)을 adl 출력 저장소에 복사하려고합니다. 안타깝게도 스크립트로 종결 : 'Microsoft.Cosmos.ScopeStudio.BusinessObjects.Debugger.ScopeDebugException' 가 Microsoft.Cos

0열

1답변

Azure 데이터 팩토리로 C# 코드에서 U-SQL 스크립트를 실행하십시오.

C# 코드로 Azure에서 U-SQL 스크립트를 실행하려고합니다. 코드가 실행되었지만 U-SQl 스크립트가 ADF에 의해 실행되지 않으면 모든 것이 하늘색 (ADF, linkedservices, 파이프 라인, 데이터 세트)에 작성됩니다. startTime 및 end Time이 파이프 라인 코드로 구성되는 문제가 있다고 생각합니다. 이 콘솔 응용 프로그램을

2열

1답변

PowerBI.com OAuth2를 사용하는 Azure 데이터 레이크에 대한 데이터 집합 새로 고침

상황 : Azure 데이터 레이크 저장소에 대한 데이터 원본 연결을 사용하는 Power BI 데스크톱 통합 문서가 있습니다. 스토리지를 쿼리하고 아무런 문제없이 데이터 세트로 이동할 수 있습니다. 내 비주얼을 생성하고 PowerBI.com에 워크 북을 게시했습니다. 다음 : 리포트가 내 Azure 데이터 레이크 파일에 도달하여 업데이트되도록 데이터 세트의