0
파일이 언제 hadoop에서이 정보가 기록되는 로컬로 복사되는지 알고 싶습니다. 나는 hadoop 감사 로그와 namenode 로그를 조사했는데,이 정보가 기록되는 것을 보지 못했습니다. 어떤 도움이라도 대단히 감사하겠습니다.hadoop CopytoLocal 명령은 어디에서 기록됩니까?
A
답변
0
CopyToLocal은 파일을 로컬 파일 시스템에 복사 할 수 있습니다. 이 프로세스는 많은 클래스와 메소드를 참조하므로 hadoop-hadoop-namenode-Master.log, hadoop-hadoop-jobtracker-Master.log, hadoop-hadoop-datanode-Slave1.log가 로그에 표시되는 것이 좋습니다. 필자는 쓰기 파일에 대해 이해할 수있는 사람을 제공 할 것입니다. 읽기 프로세스는 쓰기 파일 프로세스와 유사합니다.
hadoop-hadoop-namenode-Master.log에서 "cmd = mkdirs"를 검색하면 "HDFS_WRITE"등을 검색 할 수 있습니다. 이러한 키워드는 쓰기 파일의 프로세스를 나타내며, put 또는 CopyFromLocal입니다. 그런 다음 용도에 따라 로그를 읽을 수 있습니다.
참고 : 마스터 노드와 슬레이브 노드에서 각각 로그를 찾는 것이 좋습니다. 위의 로그 이름은 내 컴퓨터에 있습니다.
나는 그 질문을 이해하지 못한다. 정확히 무엇을 기록하고 싶습니까? – philantrovert
로그에서 copy 명령을 보거나 누군가가 hadoop에서 로컬로 파일을 복사하려고한다는 내용의 일부 항목을보고 싶습니다. – Vishy
나는 이런 종류의 정보가 기록되지 않는다고 생각하며, 왜 그렇게해야하는지에 대한 요점을 보지 못했다. – philantrovert