azure-data-lake

0열

1답변

우리는 서로 종속적 인 여러 코드 단위로 구성된 큰 U-SQL 스크립트를 작성했습니다. 단일 U-SQL 작업으로 실행될 수 있습니다. BTW, Azure Data Factory 활동으로이 작업을 실행하고 있습니다. 우리는이 스크립트를 더 나은 유지 관리 및 테스트를 위해 각각 하나의 유닛을 포함하는 여러 개의 U-SQL 스크립트로 나누고 싶습니다. 이 방법

1열

1답변

로컬 U-SQL 테이블과 ADLA의 성능 차이는 무엇입니까?

ADLA에서 테이블을 만들고 사용할 때와 비교할 때 로컬 U-SQL 테이블에 삽입/쿼리하는 것은 상당히 빠릅니다. 어떤 병렬 처리도 사용하지 않고 약 8 분만에 CSV의 데이터를 3 개의 테이블에 로컬로 삽입 할 수 있었으며 병렬 처리가 10 일인 ADLA에서 10 분이 걸렸습니다 (병렬 처리 작업이 훨씬 오래 걸림). 동일한 성능을 얻을 수 있습니까?

0열

1답변

U-SQL 테이블에 데이터를 삽입하는 데 너무 오래 걸립니까?

U-SQL 테이블에 데이터를 삽입하는 데 너무 많은 시간이 걸립니다. 우리는 분할 된 테이블을 사용하여 이전에 처리 된 데이터를 다시 계산합니다. 첫 번째 삽입은 11, 5 및 1 개의 파티션이있는 세 개의 테이블에서 약 10-12 분이 걸렸으며 병렬 처리는 10으로 설정되었습니다. 동일한 데이터를 두 번 삽입하면 거의 4 시간이 걸렸습니다. 현재 우리는

1열

1답변

u-sql의 모든 행을 데이터 호수에서 순서대로 가져 오는 방법

u-sql 쿼리를 작성하는 동안 Order by 절 FETCH 절을 사용해야하는데 제한적으로 페치하지 않으려면 어떻게해야합니까? 행 수는 있지만 행 집합의 모든 행. OUTPUT @res TO "/output/Searchlog-having.csv" ORDER BY TotalDuration DESC USING Outputters.C

0열

1답변

데이터 팩토리를 사용하여 스토리지 계정 테이블을 데이터 레이크로 전송

데이터 팩토리를 사용하여 스토리지 계정에서 데이터 레이크로 테이블을 전송하려고합니다. Microsoft는 "임의의 크기와 형식의 파일을 Data Lake에 저장"할 수 있다고 주장합니다. 필자는 온라인 마법사를 사용하여 파이프 라인을 만들려고합니다. 파이프 라인이 생성됩니다,하지만 난 후 항상 말하는 오류를 얻을 : 복사 활동이 사용자 오류가 발생 다음 경

2열

1답변

어떻게 우리는 동적 데이터 출력 파일 이름을 u-sql에서 azure 데이터로 할 수 있습니까? timestamp 작업을 기반으로 한 호수가 수행됩니다.

작업이 실행될 때 시간 기록을 기반으로 하늘색 데이터 호수에서 u-sql로 동적 출력 파일 이름을 가질 수있는 방법은 무엇입니까? 감사합니다. 도움을 요청하십시오. 내 코드는 다음과 같습니다 : OUTPUT @telDataResult TO @"wasb://[email protected]/**yyyymmdd**_TelDataOutput.Cs

4열

2답변

Visual Studio 데이터 팩토리 프로젝트를 통해 호수 인증 서비스 승인

Azure Data Lake 비주얼 스튜디오 프로젝트에서 Azure Data Lake 링크 서비스를 사용하고 있습니다. 내가 생성 할 때 처음에 권한을 부여해야합니다. 그러나 주어진 권한 부여는 특정 기간 (일 단위) 후에 만료됩니다. 연결된 서비스를 다시 인증 할 수있는 옵션을 찾을 수 없습니다. 포털에서 다른 연결된 서비스를 다시 인증하려고 시도했지만

2열

1답변

Google Cloud Storage에서 Azure Datalake Store로 csv 파일을 전송하는 방법

Google CSC 로그 파일을 GCS에서 Azure Datalake Store로 전송하고 싶습니다. 그러나 가장 쉬운 방법은 무엇인지 알아낼 수 없습니다. 그것. 내장 솔루션이 있습니까? 데이터 팩토리로이를 수행 할 수 있습니까? 나는 api로 이것을하기 위해 예정된 VM을 실행하는 것을 피하고 싶습니다. 이 아이디어는 GCS -> (DataFlow ->

1열

1답변

U-SQL 테이블과 SQL 데이터웨어 하우스

그래서 여기 있습니다. Data Lake Store에 방대한 양의 데이터를 저장하고 있습니다. 그러나 보고서를 만들고 싶을 때 (한 달 가치가 될 수 있습니다.) 나는 그것을 쿼리 할 때 반복해서 참조하기 위해 테이블로 그것을 체계화하고자합니다. Data Lake Analytics에서 U-SQL 테이블 (https://msdn.microsoft.com/en

0열

1답변

PowerShell 포털에서 데이터 분석 작업을 제출할 수 없습니다.

Aure 웹 포털을 통해 PowerShell 런북에서 Submit-AzureRmDataLakeAnalyticsJob cmdlet를 실행할 수없는 이유는 무엇입니까? 나는 다음과 같은 오류 메시지가 : -AzureRmDataLakeAnalyticsJob 제출 : 용어를 '- AzureRmDataLakeAnalyticsJob 제출'는 A cmdlet에, 함수의