awk에서 줄 바꿈이 포함 된 필드를 처리 할 수 ​​있습니까?

Question

다음 형식의 레코드가있는 텍스트 파일이 있다고 가정하십시오. 여기서 FS은 일반적으로 쉼표이며, RS은 일반적으로 줄 바꿈입니다.

그러나이 규칙의 예외는 필드가 따옴표 안에 있으면 줄 바꿈과 쉼표를 필드의 일부로 처리해야한다는 것입니다.

"This field contains 
line breaks and is 
quoted but it 
should be treated as a 
single field",1,2,3,"another field" 

어떻게 나는 아직도 $1,$2...에 액세스 할 수있는 나는 보통하는 것처럼하지만, 필드 위의 해석과, 제대로 이러한 파일을 구문 분석 AWK 사용할 수 있습니까?

나는 이미 this wiki page을 보았지만 거기에 제시된 해결책은 줄 바꿈 문제를 해결하지 못합니다.

Answer 1

가능한 해결책은 완벽하지는 않지만 awk 'BEGIN{RS="\""}{...}'입니다. 이렇게하면 레코드 구분 기호가 "으로 재설정되지만 필드 구분 기호는 공백으로 남습니다. 문제는 첫 번째와 마지막으로 "이 일부 레코드의 구분으로 일치하기 때문에 파일에 두 개의 빈 레코드를 추가한다는 것입니다.

예 : condtion NR>1를 추가하여 데이터

END OF RECORD - 
This field contains 
line breaks and is 
quoted but it 
should be treated as a 
single field END OF RECORD This - field 
,1,2,3, END OF RECORD ,1,2,3, - 
another field END OF RECORD another - field 

END OF RECORD - 

당신은 첫 번째를 건너 뛸 수 있습니다에 적용 할 때

awk 'BEGIN{RS="\""} {print $0,"END OF RECORD",$1,"-",$2}' 

이 결과를 생성합니다. 마지막 하나는 파일에 몇 개의 레코드가 있는지 모르기 때문에 조금 까다 롭습니다. 배열에 인쇄 할 값을 저장하고 문에 for주기를 사용하여 인쇄하고 파일의 첫 번째 및 마지막 레코드를 건너 뛸 수 있습니다.

Answer 2

awk에서 파일을 올바르게 구문 분석하려면 csvquote라는 프로그램을 사용하면 따옴표로 묶인 필드에 나타나는 쉼표와 개행 문자를 awk와 혼동하지 않는 인쇄 할 수없는 문자로 임시로 바꿀 수 있습니다. 이 프로그램은 awk가 필드 구분자를 항상 나타내는 쉼표와 항상 레코드 분리자를 나타내는 개행에 의존 할 수있는 형식으로 데이터를 santize합니다.

를 사용하려면이 같은 컷/AWK/...를 포함하는 파이프 라인을 포장 :

csvquote /tmp/foo.csv | tail +2 | awk -F, '{print $3 $2}' | csvquote -u 

당신은 여기에 코드를 찾을 수 있습니다 https://github.com/dbro/csvquote

하나주의해야 할 점은 당신이 원하는 경우이다 필드 안의 쉼표와 개행 문자를 검색하려면 인쇄되지 않는 문자를 대신 검색해야하므로 작업이 더 복잡해집니다. 이 작업을보다 쉽게 ​​수행 할 방법을 찾고 있다면 csvfix 도구를 살펴 봐야합니다.

또 다른 옵션은 awk의 FPAT를 사용하는 것이지만 필드에 이스케이프 된 인용 부호가 포함되어 있으면 작동하지 않습니다. http://www.gnu.org/software/gawk/manual/html_node/Splitting-By-Content.html

Answer 3

아마도 레코드 분리 자로 두 줄의 새 줄을 사용할 수 있습니다.당신의 주어진 파일에 대한

awk -v RS="\n\n" -v FS="," '...' file 

의 파일 자체와 함께 파일 번호를 표시하자 :

당신은 또한 필드 구분자로 쉼표를 설정하면, 다음이 당신이 필드로 텍스트의 각 블록을 처리 할 수 ​​있습니다

$ awk -v RS="\n\n" -v FS="," '{for (i=1; i<=NF; i++) print i, $i}' file 
1 "This field contains 
line breaks and is 
quoted but it 
should be treated as a 
single field" 
2 1 
3 2 
4 3 
5 "another field"