긁어 모으는 동안 웹 사이트에서 아름다운 스프에서 부품을 숨길 수 있습니까?

나는 파이썬 패키지 아름다운 스프와 함께 웹 사이트를 긁어 내려고하는 동안 문제가 발생했습니다. 어쨌든 나는 그 부분에서 내가 관심있는 부분을 exept에서 얻는다. 나는이 사이트 https://www.bitfinex.com/에서 실시간 데이터를 긁어 내려고 애 쓰고있다.긁어 모으는 동안 웹 사이트에서 아름다운 스프에서 부품을 숨길 수 있습니까?

나는 진짜로 실시간 데이터에 대해 모든 부분을 얻었고 데이터와 동일한 컨테이너 내부의 스크립트 블록에 어떻게 든 연결되어 있다고 생각한다. 파이어 폭스와 크롬은이 부분을 쉽고 그러나 아름다운 스프를 어떻게 든 시험 할 수있다.

모든 조언에 감사드립니다.

출처

2017-12-21 Marko

'requests'을 사용하고 있습니까? 'beautifulsoup'와'requests'는 정적 html 만 처리 할 수 있습니다. 자바 스크립트에서 생성 된 콘텐츠의 경우 PhantomJS와 함께'selenium '을 사용할 수 있습니다. 또한 bitfinex에는이 작업을 훨씬 쉽게 할 수있는 API가있을 것입니다. –

감사합니다. 나는 등록 할 수 없기 때문에 계정을 만들 때까지 이런 식으로해야합니다. – Marko

귀하의 질문에 답하기 위해, 예를 들어, 웹 사이트가 봇이나 의심스러운 것으로 의심되는 것으로부터 내용을 차단하거나 제거 할 수 있습니다. 사용자 에이전트를 설정하지 않은 경우 시도하십시오. 이미 시도한 것을 알지 못하면 진행 방법에 대한 조언을하기가 어렵습니다.

출처

2017-12-21 02:05:45 arkdevelopment

나는 리디렉션을 지나서 지금 웹 사이트 콘텐츠를 얻지 만이 스크립트 부분은 크롬이나 파이어 폭스처럼 표시되지 않습니다. – Marko

왜 API을 사용하지 않으시겠습니까?

많은 웹 사이트가 데이터를 스크래핑하는 스파이더를 감지하고 차단합니다. 또한 스크레이퍼는 UI를 업데이트 할 때마다 중단됩니다.

BitFinex의 실시간 데이터는 페이지가로드 된 후 AJAX를 통해 Javascript로 채워질 수 있습니다.

출처

2017-12-21 02:06:06

그들은 현재 새 등록을 허용하지 않으므로 지갑을 만들 수 없으며 API 키를 얻을 수 없습니다. 그리고 실시간 데이터로 tradebot을 테스트하고 트랜잭션을 시뮬레이션하려고했습니다. – Marko

나는 그들이 처음에 리다이렉트 한 것을 감지했지만 그 해결 방법을 찾을 수 있었다. – Marko

Nah 귀하의 이용 약관을 위반하는 것을 도와 드릴 수 없습니다. 그런 화면을 긁어 모으는 것은 아마도 사용 약관을 위반하는 것입니다. –

긁어 모으는 동안 웹 사이트에서 아름다운 스프에서 부품을 숨길 수 있습니까?

답변

관련 문제