1. 홈
  2. 질의 응답
  3. BASH - html로 테이블을 긁어 터미널

BASH - html로 테이블을 긁어 터미널

2017-12-01 27 views
1
나는이 웹 사이트에서 (BASH를 사용하여) 테이블을 긁어 노력했습니다

에 인쇄하는 방법 : 브라질 정부 채권의 현재 가격입니다 http://www.tesouro.fazenda.gov.br/tesouro-direto-precos-e-taxas-dos-titulos을. 나에게 동일한 테이블을 제공하는 스크립트를 개발하여 터미널 출력 형식을 지정하여 별칭에 할당하고 신속하게 가격을 책정 할 수있다 (다른 사람들도이 테이블을 github에 게시하여 다른 사람도 사용할 수 있도록하거나 다른 테이블에서도 사용할 수 있도록 스크립트를 개발하고 싶다. 암호).BASH - html로 테이블을 긁어 터미널

지금까지했던 어떤 :

Investir 메르 카도 Aberto 9h30min로, 18 시간 Preços 전자 "./script.sh> file.txt를"을 실행

#!/bin/bash 
url="http://www.tesouro.fazenda.gov.br/tesouro-direto-precos-e-taxas-dos-titulos" 

lynx -source "$url" | 
grep -o '<tbody>.*</tbody>' | 
#gets the entire line 
sed 's/\(<tr>\|<\/tr>\)//g' | 
sed 's/<[^>]*>//g' 
#cleans the html tags

는 나에게 출력을 제공 taxas DOS títulos públicos disponíveis 파라 investir Título Vencimento Indexador 분류군 드 Rendimento (%의 AA) 발러 미니 모 PRECO Unitário Indexados AO IPCA Tesouro IPCA + 2,024 (NTNB 공주 역) 15/08/2024 R $ 5,05 43,62 R $ 2.181,47 Tesouro IPCA + 2,035 (NTNB Princ) 15/05/2035 5,48 R $ 35,96 R $ 1.198,82 Tesouro IPCA + 2045 (NTNB Princ) 15/05/2045 5,48 R $ 35,21 R $ 704,20 Tesouro IPCA + 컴 Juros Semestrais 2026 (NTNB) 15/08/2026 5,10 R $ 32,72 R $ 3.272,36 Tesouro IPCA + 컴 Juros Semestrais 2035 (NTNB) 15/05/2035 5,35 R $ 32,63 R $ 3.263,54 Tesouro IPCA + 컴 Juros Semestrais 2050 (NTNB) 15/08/2050 5,42 R $ 33,55 R $ 3.355,64 Prefixados Tesouro Prefixado 2020 (LTN) 2020년 1월 1일 8,40 R $ 33,84 R $ 846,13 Tesouro Prefixado 2023 (LTN) 01/01/2023 10,20 R $ 30,58 R $ 611,76 Tesouro Prefixado com Juros Semestrais 2027 (NTNF) 01/01/2027 10,36 R $ 30,69 R $ 1.023,16 색인 Selic Tesouro Selic 2023 (LFT) 01/03/2023 0,00 R $ 92,38 R $ 9.238,83 Resgatar Mercado Aberto 9 시간 30 분 및 18 시간 Prehos e taxas 및 itación de para resgatar Título Vencimento Indexador Taxa de Rendimento (% aa) IPCA Tesouro IPCA + 2019 (NTNB Princ) 15/05/2019 2,93 R $ 2.907,76 Tesouro IPCA + 2024 (NTNB Princ) 2011 년 8 월 15 일 5,17 R $ 2.164,92 Tesouro IPCA + 2035 (NTNB Princ) 2035 5,60 R $ 1.175,37 Tesouro IPCA + 2045 (NTNB Princ) 2011 년 5 월 15 일 5,60 R $ 682,63 Tesouro IPCA COM + Juros Semestrais 2,020 (NTNB) 15/08/2020 4,17 R $ 3.221,84 Tesouro IPCA + 컴 Juros Semestrais 2,024 (NTNB) 15/08/2024 5,08 R $ 3.240,43 Tesouro IPCA + 컴 Juros Semestrais 2,026 (NTNB) 15/08/2026 5,22 R $ 3.246,88 Tesouro IPCA + com Juros Semestrais 2035 (NTNB) 15/05/2035 5,47 R $ 3.221,99 Tesouro IPCA + com Juros Semestrais 2045 (NTNB) 15/05/2045 5,56 R $ 3.231,12 Tesouro IPCA + 컴 Juros Semestrais 2050 (NTNB) 15/08/2050 5,54 R $ 3.298,33 Prefixados Tesouro Prefixado 2018 (LTN) 2018년 1월 1일 7,06 R $ 994,86 Tesouro Prefixado 2019 (LTN) 01/01/2019 7,13 R $ 929,11 Tesouro Prefixado 2020 (LTN) 2011 년 1 월 1 일 8,52 R ₩ 844,19 Tesouro Prefixado 2021 (LTN) 01/01/2021 9,46 R ₩ 757,85 Tesouro Prefixado 2023 (LTN) 01/01/2023 10,32 R $ 608,40 Tesouro Prefixado com Juros Semestrais 2021 (NTNF) 01/01/2021 9,28 R $ 1.060,17 Tesouro Prefixado com Juros Semestrais 2023 (NTNF) 01/01/2023 10,08 R $ 1.039,70 Tesouro Prefixado com Juros 세메스트라 2025 (NTNF) 01/01/2025 10,37 R $ 1.025,50 Tesouro Prefixado com Juros Semestrais 2027 (NTNF) 01/01/2027 10,48 R $ 1.016,60 색인 Selic Tesouro Selic 2021 (LFT) 01/03/2021 0,04 R $ 9.226,94 Tesouro Selic 2023 (LFT) 01/03/2023 0,04 R $ 9.219 , 57 Indexesos ao IGP-M Tesouro IGPM + com Juros Semestrais 2021 (NTNC) 01/04/2021 4,42 R $ 3.756,86 Tesouro IGPM + com Juros Semestrais 2031 (NTNC) 01/01/2031 5,33 R $ 5.863,43

포르투갈어, 그래서 내가 도움을 받고 수 있도록 최선을 다할 것입니다

:

  1. 모든 것이 불행하게도, 하나 개의 라인에, 나는 HTML 파일이이 방법과 그렙 때문에 그것의 생각 그것을 얻는다.
  2. 중요한 데이터는 마지막 단어 "investir"와 첫 번째 "Resgatar"바로 뒤에 있습니다. 이것들은 정부로부터 구매할 수있는 채권입니다.
  3. 마지막 단어 "resgatar"와 표의 끝 사이에는 더 이상 구매할 수없는 채권이 있지만 만기일까지 언제든지 정부에 판매 할 수 있습니다.
  4. 테이블 필드의 제목은

에 "- 마감일 - - Interst 비율 (% 년) 단가 제목"변환 "Titulo - PRECO Unitario Vencimento - - 분류군 드 Rendimento (%의 AA)" 너희들이 적어도 테이블 제목들 사이에서 이러한 원치 않는 '설명 단어'를 제거하는 것을 도울 수 있다면 (즉, 줄의 시작에서부터 "티투로"의 첫 번째 발생까지, 그리고 첫 번째 "레가타"에서 다음 번 발생할 때까지) "Título"), 나는이 도구가 다른 사람들을 도울 수 있다고 믿습니다.

거기서부터 파일의 나머지 부분에서 AWK를 시도하고 원하는 방식으로 형식을 지정할 수 있습니다. 스택에서 몇 가지 질문을 검색하면서도 할 수 없었던 이것을 제거해야합니다. 또한 누군가가 내가하고자하는 것을 더 현명한 방법으로 수행한다면, 내가 한 바보 모든 것을 버리고 BASH에서보다 지능적인 접근법을 제안하십시오!

대단히 감사합니다.

출처

2017-12-01 Vinicius Sanches

+1

man column는 구조화 된 데이터를 조작하는 라인 지향 도구를 사용하지 마십시오. https://stackoverflow.com/questions/41001475/extract-part-of-the-code-and-parse-html-in-bash와 같은 것을해야합니다. – tripleee

+0

고마워요! 나는 그 때이 해결책을 연구 할 것이다! –

+0

@ ViníciusR.Sanches, 전체 '

'내용을 파싱 하시겠습니까? 그러나'Indexaos ao IPCA'처럼 전체 행을 차지하는 테이블 셀이 있습니다. 어떻게 처리해야합니까? 최종 결과물을 게시하십시오. 해결책은 어렵지 않을거야 – RomanPerekhrest

답변

1

예제 :

wget -q -O - 'http://www.tesouro.fazenda.gov.br/tesouro-direto-precos-e-taxas-dos-titulos' |\ 
    xmlstarlet format --recover --html 2>/dev/null |\ 
    xmlstarlet select --html --template --value-of "/html/body/div/div/div/div/div/div/div/div/div/div/table/tbody/tr/td[@class='listing0' or @class='listing' or @class='listing ']" |\ 
    paste -d ";" - - - - - |\ 
    column -s ";" -t

출력 :이 URL에서 HTML이 유효하지 않기 때문에 내가 xmlstarlet format --recover --html 2>/dev/null를 삽입

 
Tesouro IPCA+ 2024 (NTNB Princ)      15/08/2024 5,06 R$43,60 R$2.180,09 
Tesouro IPCA+ 2035 (NTNB Princ)      15/05/2035 5,48 R$35,96 R$1.198,82 
Tesouro IPCA+ 2045 (NTNB Princ)      15/05/2045 5,48 R$35,21 R$704,20 
Tesouro IPCA+ com Juros Semestrais 2026 (NTNB)  15/08/2026 5,10 R$32,72 R$3.272,36 
Tesouro IPCA+ com Juros Semestrais 2035 (NTNB)  15/05/2035 5,35 R$32,63 R$3.263,54 
Tesouro IPCA+ com Juros Semestrais 2050 (NTNB)  15/08/2050 5,41 R$33,60 R$3.360,49 
Tesouro Prefixado 2020 (LTN)      01/01/2020 8,38 R$33,85 R$846,45 
Tesouro Prefixado 2023 (LTN)      01/01/2023 10,20 R$30,58 R$611,76 
Tesouro Prefixado com Juros Semestrais 2027 (NTNF) 01/01/2027 10,37 R$30,67 R$1.022,61 
Tesouro Selic 2023 (LFT)       01/03/2023 0,00 R$92,38 R$9.238,83

.

참조 : xmlstarlet select --help, man paste 및

출처

2017-12-01 20:11:56 Cyrus

+0

와우, 정말 고마워. 이것은 정확하게 내가하려고했던 것이었다. 나는 xmlstarlet을 더 공부할 것이고, 나는 그것을 몰랐다. –

 관련 문제

  • 관련 문제 없음^_^