프로그래밍 방식으로 JSON을 AVRO Schma로 변환 할 수 있습니까?

Question

나는 아브 파일을 작성해야하지만, 그것을 위해 나는 두 가지가 필요합니다

1) JSON

2) 브로 스키마이이 개 요구 사항에서

- 내가 가지고있는 JSON을 :

{"web-app": { 
    "servlet": [ 
    { 
     "servlet-name": "cofaxCDS", 
     "servlet-class": "org.cofax.cds.CDSServlet", 
     "init-param": { 
     "configGlossary:installationAt": "Philadelphia, PA", 
     "configGlossary:adminEmail": "ksm@pobox.com", 
     "configGlossary:poweredBy": "Cofax", 
     "configGlossary:poweredByIcon": "/images/cofax.gif", 
     "configGlossary:staticPath": "/content/static", 
     "templateProcessorClass": "org.cofax.WysiwygTemplate", 
     "templateLoaderClass": "org.cofax.FilesTemplateLoader", 
     "templatePath": "templates", 
     "templateOverridePath": "", 
     "defaultListTemplate": "listTemplate.htm", 
     "defaultFileTemplate": "articleTemplate.htm", 
     "useJSP": false, 
     "jspListTemplate": "listTemplate.jsp", 
     "jspFileTemplate": "articleTemplate.jsp", 
     "cachePackageTagsTrack": 200, 
     "cachePackageTagsStore": 200, 
     "cachePackageTagsRefresh": 60, 
     "cacheTemplatesTrack": 100, 
     "cacheTemplatesStore": 50, 
     "cacheTemplatesRefresh": 15, 
     "cachePagesTrack": 200, 
     "cachePagesStore": 100, 
     "cachePagesRefresh": 10, 
     "cachePagesDirtyRead": 10, 
     "searchEngineListTemplate": "forSearchEnginesList.htm", 
     "searchEngineFileTemplate": "forSearchEngines.htm", 
     "searchEngineRobotsDb": "WEB-INF/robots.db", 
     "useDataStore": true, 
     "dataStoreClass": "org.cofax.SqlDataStore", 
     "redirectionClass": "org.cofax.SqlRedirection", 
     "dataStoreName": "cofax", 
     "dataStoreDriver": "com.microsoft.jdbc.sqlserver.SQLServerDriver", 
     "dataStoreUrl": "jdbc:microsoft:sqlserver://LOCALHOST:1433;DatabaseName=goon", 
     "dataStoreUser": "sa", 
     "dataStorePassword": "dataStoreTestQuery", 
     "dataStoreTestQuery": "SET NOCOUNT ON;select test='test';", 
     "dataStoreLogFile": "/usr/local/tomcat/logs/datastore.log", 
     "dataStoreInitConns": 10, 
     "dataStoreMaxConns": 100, 
     "dataStoreConnUsageLimit": 100, 
     "dataStoreLogLevel": "debug", 
     "maxUrlLength": 500}}, 
    { 
     "servlet-name": "cofaxEmail", 
     "servlet-class": "org.cofax.cds.EmailServlet", 
     "init-param": { 
     "mailHost": "mail1", 
     "mailHostOverride": "mail2"}}, 
    { 
     "servlet-name": "cofaxAdmin", 
     "servlet-class": "org.cofax.cds.AdminServlet"}, 

    { 
     "servlet-name": "fileServlet", 
     "servlet-class": "org.cofax.cds.FileServlet"}, 
    { 
     "servlet-name": "cofaxTools", 
     "servlet-class": "org.cofax.cms.CofaxToolsServlet", 
     "init-param": { 
     "templatePath": "toolstemplates/", 
     "log": 1, 
     "logLocation": "/usr/local/tomcat/logs/CofaxTools.log", 
     "logMaxSize": "", 
     "dataLog": 1, 
     "dataLogLocation": "/usr/local/tomcat/logs/dataLog.log", 
     "dataLogMaxSize": "", 
     "removePageCache": "/content/admin/remove?cache=pages&id=", 
     "removeTemplateCache": "/content/admin/remove?cache=templates&id=", 
     "fileTransferFolder": "/usr/local/tomcat/webapps/content/fileTransferFolder", 
     "lookInContext": 1, 
     "adminGroupID": 4, 
     "betaServer": true}}], 
    "servlet-mapping": { 
    "cofaxCDS": "/", 
    "cofaxEmail": "/cofaxutil/aemail/*", 
    "cofaxAdmin": "/admin/*", 
    "fileServlet": "/static/*", 
    "cofaxTools": "/tools/*"}, 

    "taglib": { 
    "taglib-uri": "cofax.tld", 
    "taglib-location": "/WEB-INF/tlds/cofax.tld"}}} 

그러나 그것을 기반으로 AVRO 스키마를 만드는 방법은 무엇입니까?

많은 스키마가 있고 매번 수동으로 Avro 스키마를 만들 수 없으므로 프로그래밍 방식을 찾고 있습니다.

'avro-tools-1.8.1.jar'을 선택했는데 JSON에서 직접 Avro 스키마를 만들 수 없습니다.

JSON -> Avro 스키마를 만들 수있는 Jar 또는 Python 코드를 찾고 있습니다. 데이터 유형이 완벽하지 않은 경우 (문자열, 정수 및 수레가 시작에 충분 함) 좋습니다.

감사합니다.

Answer 1

Kite SDK 유틸리티를 사용하여 json 입력에서 avro 스키마를 추론 할 수 있습니다.

https://github.com/kite-sdk/kite/blob/master/kite-data/kite-data-core/src/main/java/org/kitesdk/data/spi/JsonUtil.java#L539

예 :

String json = "{\n" + 
      " \"id\": 1,\n" + 
      " \"name\": \"A green door\",\n" + 
      " \"price\": 12.50,\n" + 
      " \"tags\": [\"home\", \"green\"]\n" + 
      "}\n" 
      ; 
    String avroSchema = JsonUtil.inferSchema(JsonUtil.parse(json), "myschema").toString(); 
    System.out.println(avroSchema); 

결과 :

{ 
    "type":"record", 
    "name":"myschema", 
    "fields":[ 
     { 
     "name":"id", 
     "type":"int", 
     "doc":"Type inferred from '1'" 
     }, 
     { 
     "name":"name", 
     "type":"string", 
     "doc":"Type inferred from '\"A green door\"'" 
     }, 
     { 
     "name":"price", 
     "type":"double", 
     "doc":"Type inferred from '12.5'" 
     }, 
     { 
     "name":"tags", 
     "type":{ 
      "type":"array", 
      "items":"string" 
     }, 
     "doc":"Type inferred from '[\"home\",\"green\"]'" 
     } 
    ] 
} 

당신은 받는다는 의존성 here