2017-01-09 9 views
2

감마선 천문학을위한 공개 데이터 콜렉션 gamma-cat을 만들고 있으며 여기 (또는 리소스, 형식, 도구, 패키지에 대한 링크)를 찾는 방법을 찾고 있습니다. 그것을 설정하는 것이 가장 좋습니다.Python JSON API (링크 된 데이터 용, 플랫 파일 용)

우리가 가지고있는 자료는 다른 논문의 다른 출처에 대한 측정으로 구성되어 있습니다. 꽤 이질적입니다. 때로는 하나의 종이에 여러 소스에 대한 데이터가 있습니다. 각 소스에는 대개 여러 개의 종이가 있고 때로는 스펙트럼이 없으며 때로는 하나, 때로는 여러 종이 있습니다 ...

현재 우리는 input 폴더에있는 데이터를 수집합니다. YAML 및 CSV 파일로 제공하고 이제 사용자에게 폭로하고 싶습니다. 주로 파이썬뿐만 아니라 자바 스크립트에서도 액세스 할 수 있으며 정적 웹 사이트에서 액세스 할 수 있습니다.

이 문제는 우리가 데이터를 사용해야 어떤 형식과 조직, 그리고 어떤 우리가 링크 된 데이터의 집합으로 output 파일을 생성하는 데 도움이됩니다 파이썬 패키지뿐만 아니라, 파이썬과 자바 스크립트 패키지가 있다면 도움이됩니다 우리가 접근 해?

데이터의 여러 "보기"또는 간단한 "검색어"를 얻고 싶습니다. "모든 출처 목록", "모든 용지 목록", "출처 X에 대한 모든 스펙트럼 목록", "출처 C에 대한 용지 B의 스펙트럼 A".

형식의 경우 JSON이 좋은 선택일까요? YAML은 읽는 것이 좀 더 좋지만 댓글과 주문한지도가있는 것이 가능합니다. 우리는 git repo에 출력 파일을 저장하고 있으며 키 순서가 항상 변경되기 때문에 JSON 파일에 많은 의미가없는 diff가 있습니다.

데이터 세트를 검색하고 링크하기 위해 무엇을 사용해야할지 모르겠다. 예 : http://jsonapi.org/하지만 그것은 정적 웹 서버에있는 일련의 플랫 JSON 파일에 대한 것이 아니라 REST API에 대한 것으로 보입니까? 어쩌면 여전히 그런 식으로 사용할 수 있을까요? 관련성이 있지만 꽤 복잡한 것처럼 보이는 http://json-ld.org/도 있습니다. 그 중 하나 또는 다른 것이 좋은 선택일까요?

마지막으로 Python 스크립트를 사용하여 input에 다소 조직 된 YAML 및 CSV 파일의 모음에서 output의 링크 된 파일과 검색 가능한 파일을 생성하고 싶습니다. 지금까지 Python dicts/lists와 YAML/JSON 파일을 기반으로 한 Python 클래스 또는 스크립트를 작성했습니다. 링크 된 데이터 파일을 생성하는 작업에 도움이되는 Python 패키지가 있습니까?

길고 복잡한 질문에 사과드립니다! 나는 그것이 아직 SO를위한 범위에 있기를 바란다. 그리고 누군가는 공유 할 약간의 충고를 가질 것이다.

+0

여기에 여러 질문을했는데 그 중 어느 것도 그 범위가 아닙니다. – jonrsharpe

+0

@jonsharpe - 사과! 그 질문 외에 질문 할만한 다른 포럼이 있습니까? 질문은 길지만 IMO는 비슷한 몇 가지 다른 프로젝트를 가리키며 사용 된 형식/도구에 대해 언급하면서 몇 줄로 대답 할 수 있습니다. 그것은 나에게 매우 도움이 될 것입니다. – Christoph

+0

내가 알고있는 한 SE 네트워크에는 없지만 포럼이 더 나은 방법 일 수 있습니다. 그런 "목록 질문"은 그렇게 적합하지 않습니다. – jonrsharpe

답변

0

귀하의 질문에 비추어 볼 때 귀하는 링크 된 데이터를 처음 사용하게되었습니다. 가장 이상한 형식은 Data Package 일 수 있습니다. 가장 일반적인 경우 CSV 파일과 JSON 메타 데이터의 zip 아카이브 일뿐입니다. 그것에는 Python package가 있습니다.

데이터에 대한 쿼리가있는 경우 SPARQL 끝점을 사용하여 데이터베이스 (triplestore)를 처리해야합니다. Fuseki을보십시오. 그런 다음 파일 내보내기를 위해 거북 또는 RDF/XML을 사용할 수 있습니다.

데이터가 일종의 도구에서 나온다면 Eclipse Lyo (tutorial)를 사용하여 표현한 도메인을 모델링 할 수 있습니다.

이 도구는 3 개의 다른 커뮤니티에서 관리하며, 추가 질문이 있으면 사용자 메일 링리스트에 개별적으로 연락 할 수 있습니다.

+0

> 질문의 범위를 판단하여 귀하는 연결된 데이터를 처음 접했습니다. 오 예. 답변 해주셔서 감사합니다! 나는 다가오는 날에 그것을 조사 할 것이다. – Christoph

+0

많은 상호 연결 파일이있는 "데이터 패키지"의 예가 있습니까? 링크 ("경로")는 항상 중앙 "datapackage.json"에서 각 파일로 이동합니까, 아니면 다른 파일에서 다른 파일로의 링크가있을 수 있습니까? – Christoph

+0

현재 데이터 패키지에있는 여러 파일의 모양과 형식이 동일해야합니다. http://specs.frictionlessdata.io/data-packages/#data-in-multiple-files – berezovskyi