개인 프로젝트를 위해 '파이썬으로 도구를 크롤링'했습니다. 각 웹 페이지 주소에서 모바일 페이지 주소를 가져 오려고합니다.크롤링시 웹 페이지 주소에서 모바일 페이지 주소를 가져 오는 방법은 무엇입니까?
는 난 단지 모바일 페이지 주소를 알고 싶다 'm.youtube.com'
에 'www.youtube.com을'변환 좋아한다.
'셀렌'을 사용하지 않고 모바일 페이지 주소를 가져올 수 있습니까?
모바일 페이지를 게재하는 두 가지 방법이 있습니다.
먼저 URL을 확인할 수 있습니다. 의견 m.youtube.com에 명시한 예에서 모바일 모드로 탐색 중임을 명시 적으로 나타냅니다.
하지만 HTTP 헤더 User-Agent도 확인할 수 있습니다. 이 헤더는 쿼리를 보내는 데 사용 된 브라우저를 보여줍니다. 서버는이 정보를 추출 할 수 있으며 주어진 값에 따라 브라우저가 모바일인지 데스크탑인지를 결정할 수 있습니다.
여기에서 가장 중요한 문제는 모든 웹 서버가 모바일 템플릿을 처리하는 데 동일한 방법을 사용하지 않는다는 것입니다. 많은 웹 사이트에서 제가 설명한 두 가지 방법을 모두 사용합니다. 모바일 템플릿에 액세스하는 방법을 혼자 찾는 일반적인 스크레이퍼를 만드는 것은 어려울 것입니다.
시 당신이 할 수있는 일 :
사용을 모바일 브라우저를 셀레늄 : https://github.com/SeleniumHQ/selenium/wiki/WebDriver-For-Mobile-Browsers
또는
동적 사용자 에이전트와 재생, 모바일 바탕 화면으로 전환하려면 : Change user agent for selenium driver
"모바일 페이지"란 무엇입니까? + 이미 무엇을하려고 했습니까? – Arount
내가 모바일 페이지라고 부르는 것은 'm.youtube.com' – alexmoon
좋아, youtube 전용인가요? 아니면 그냥 예일 뿐이죠? – Arount