스파크 액세스를 위해 열 방향으로 마루 파일을 보호하는 방법을 찾고있었습니다. 이상적으로는 하이브에 대해 Apache Ranger이 작동하는 것과 동일한 방식으로 작동합니다. 즉, Sysadmin은 여러 그룹 및 열에 대한 액세스 정책을 정의합니다.마루 파일 보안 설정 열 단위
나는 Hortoworks HDP를 통해 Ranger를 시도해 왔지만, Spark 및 Parquet 용 플러그인은 아직없는 것 같습니다.
나는 또한 Apache Drill을 사용하여 해결책을 도출 할 수 있었지만 아직 드릴이 부족한 지역 사회 지원 때문에 주로 받아 들여지지 않습니다.
누구나 동일한 요구 사항에 직면했거나 솔루션에 대한 지침이 있습니까?
많은 연구 끝에 나는 이것이 가능하지 않다는 결론에 도달했습니다.
레인저가 다른 도구 (HDFS, 하이브, HBase 등)와 함께 작동하는 방식은 해당 도구에서 제공하는 후크를 구현하는 플러그인을 사용하는 것입니다. 예를 들어 하이브를 보호하기 위해 사용자 지정 플러그 인을 만들려면 HiveAuthorizerFactory을 통해 HiveAuthorizer를 만들어야합니다. 그러나 그것은 파일 형식 이상의 아무것도 아니기 때문에 마루에 대한 그런 갈고리가 없습니다.
Ranger의 열 수준에서 Parquet 파일을 보호 할 수있는 가능한 솔루션은 Ranger의 HDFS 플러그인 확장을 만드는 것입니다. 이 확장은 레인저를 통해 정의 된 파켓 파일에 대한 액세스 규칙을 구현합니다. 그렇게하면 파일이 HDFS에 저장되어있는 한 Hive 또는 HBase에서와 동일한 방식으로 Parquet 파일을 완벽하게 보호 할 수 있습니다.