나는 "DataLakeAnalyticsU-SQL"활동을 사용하여 U-SQL 스크립트를 예약하기 위해 하늘색 데이터 팩토리를 만들었습니다.입력 데이터 세트가 작동하지 않습니다.
InputDataset
{
"name": "InputDataLakeTable",
"properties": {
"published": false,
"type": "AzureDataLakeStore",
"linkedServiceName": "LinkedServiceSource",
"typeProperties": {
"fileName": "SearchLog.txt",
"folderPath": "demo/",
"format": {
"type": "TextFormat",
"rowDelimiter": "\n",
"columnDelimiter": "|",
"quoteChar": "\""
}
},
"availability": {
"frequency": "Hour",
"interval": 1
}
}
}
OutputDataset:
{
"name": "OutputDataLakeTable",
"properties": {
"published": false,
"type": "AzureDataLakeStore",
"linkedServiceName": "LinkedServiceDestination",
"typeProperties": {
"folderPath": "scripts/"
},
"availability": {
"frequency": "Hour",
"interval": 1
}
}
}
Pipeline:
{
"name": "ComputeEventsByRegionPipeline",
"properties": {
"description": "This is a pipeline to compute events for en-gb locale and date less than 2012/02/19.",
"activities": [
{
"type": "DataLakeAnalyticsU-SQL",
"typeProperties": {
"scriptPath": "scripts\\SearchLogProcessing.txt",
"degreeOfParallelism": 3,
"priority": 100,
"parameters": {
"in": "/demo/SearchLog.txt",
"out": "/scripts/Result.txt"
}
},
"inputs": [
{
"name": "InputDataLakeTable"
}
],
"outputs": [
{
"name": "OutputDataLakeTable"
}
],
"policy": {
"timeout": "06:00:00",
"concurrency": 1,
"executionPriorityOrder": "NewestFirst",
"retry": 1
},
"scheduler": {
"frequency": "Hour",
"interval": 1
},
"name": "CopybyU-SQL",
"linkedServiceName": "AzureDataLakeAnalyticsLinkedService"
}
],
"start": "2016-12-21T17:44:13.557Z",
"end": "2016-12-22T17:44:13.557Z",
"isPaused": false,
"hubName": "denojaidbfactory_hub",
"pipelineMode": "Scheduled"
}
} 내가 성공적으로 필요한 모든 링크 서비스를 만들었습니다
: 아래의 코드를 참조하십시오. 그러나 파이프 라인을 배포 한 후에는 입력 데이터 집합에 대한 시간 조각이 만들어지지 않습니다. 아래 그림을 참조하십시오 :
반면 출력 데이터 세트는 업스트림 입력 데이터 세트 timeslice를 예상합니다. 결과적으로 출력 데이터 세트의 시간 조각이 실행 상태를 보류 상태로 유지하고 Azure 데이터 팩터 리 파이프 라인이 작동하지 않습니다. 아래 이미지 참조 : 이 문제를 해결하기위한 제안 사항입니다. 당신이 당신의 InputDataLakeTable를 만드는 다른 활동을하지 않은 경우