2
logstash를 사용하여 모든 텍스트 로그를 저장소에서 탄성 검색으로 푸시합니다. 저장 용량이 약 1TB입니다. 시작하려면 탄성 검색에 368GB 데이터 (수십만 개의 파일 일 수 있음)를 시작했지만 다음 오류로 인해 logstash가 실패합니다.Logstash - 열 수 없음 <file_path> 사용 권한이 거부되었습니다.
{:timestamp=>"2014-05-15T00:41:12.436000-0700", :message=>"/root/share/archive_data/sessionLogs/965c6f46-1a5e-4820-a68d-7c32886972fc/Log.txt: file grew, old size 0, new size 1557420", :level=>:debug, :file=>"filewatch/watch.rb", :line=>"81"}
{:timestamp=>"2014-05-15T00:41:12.437000-0700", :message=>":modify for /root/share/archive_data/sessionLogs/965c6f46-1a5e-4820-a68d-7c32886972fc/Log.txt, does not exist in @files", :level=>:debug, :file=>"filewatch/tail.rb", :line=>"77"}
{:timestamp=>"2014-05-15T00:41:12.441000-0700", :message=>"_open_file: /root/share/archive_data/sessionLogs/965c6f46-1a5e-4820-a68d-7c32886972fc/Log.txt: opening", :level=>:debug, :file=>"filewatch/tail.rb", :line=>"98"}
{:timestamp=>"2014-05-15T00:41:12.441000-0700", :message=>"(warn supressed) failed to open /root/share/archive_data/sessionLogs/965c6f46-1a5e-4820-a68d-7c32886972fc/Log.txt: Permission denied - /root/share/archive_data/sessionLogs/965c6f46-1a5e-4820-a68d-7c32886972fc/Log.txt", :level=>:debug, :file=>"filewatch/tail.rb", :line=>"110"}
공유가 네트워크에 마운트되어 있습니다. root 사용자를 사용하여 logstash를 시작합니다. 사용자는 마운트에 필요한 모든 액세스 권한을 가져야합니다. 공유 디렉터리에 다음과 같은 액세스 권한이 있습니다. drwxr-xr-x 44 루트 루트 0 5 월 13 일 08:36 공유
이제 로그 파일은 변경되지 않습니다.
내 질문은 - logstash가 로그 파일을 처리하고 나면 파일 핸들을 저장하지 않도록합니다. 로그 파일 수가 많아 위의 오류가 발생했다고 생각합니다.
이미 bug을 제출했으며 로그 파일에 숫자가 많으면 logstash가 제대로 작동하지 않는다는 기존 버그가있는 logstash가 있습니다.
여기에 몇 가지 중복 된 문제가 있지만이 문제와 관련하여 경험이있는 사람이 있는지 알고 싶습니다.
몇 개 파일이 있습니까? 시스템에서 "최대 열린 파일"을 수정해야합니다! 조회 : http : //stackoverflow.com/questions/34588/how-do-i-change-the-number-of-open-files-limit-in-linux –
로그 보관 파일이므로, 적어도 10 만명이되어야합니다. 나는 그 수준으로 증가하고 건강을 유지할 수 있는지 알게 될 것입니다. – Ajit
동일한 문제가 있습니다. 777 개의 액세스 권한을 가진 500,000 개의 JSON 폴더가 있습니다. 같은 오류가 발생합니다. – Dan