robots.txt

0열

1답변

Angular 2를 사용하면 각도 라우팅이 실행되지 않고 robots.txt를 볼 수 있습니까?

나는 각도 2를 사용하고 단지 (SEO 목적) 생산 내 DIST 폴더의 루트에 robots.txt를 추가하지만 URL https://myrandomsite.com/robots.txt 그냥 내 PageNotFoundComponent로 리디렉션하기 때문에 파일에 액세스 할 수없는거야 때문에 내 라우팅 설정 방법에 대해 설명합니다. robots.txt에 "일반적

0열

1답변

구글을 통해 모바일 친화적 인 테스트를 할 때 나는 웹 사이트 내가 concrete5를 사용하여 개발 문제가 웹 사이트

모바일 친화적 인 테스트 캔트 액세스, http://www.cavaliers.org.au/ 액세스 할 수 없습니다 https://search.google.com/search-console/mobile-friendly 루트에 robot.txt가 있지만 올바른 내용은 무엇입니까? User-agent: * Disallow: /application/attribu

0열

1답변

Robot.txt가 차단되었지만 아무것도 차단하지 않는다고 말했습니까?

그래서 내 사이트에서 광고를 얻으려고합니다. 잠시 동안 검토 중이므로 어쩌면 무언가를 파헤 치면서 봇이 크롤링을 막는 중입니다. 나는 오늘 이것을 발견했다. 그것이 무엇인가를 의미하는지 말해 준다. 첫 번째 : Google 검색 콘솔에서 내 사이트를 가져 와서 렌더링했습니다. 나는 위의 이미지의 오른쪽에있는 robots.txt에 링크를 클릭하고이 보여 주었

1열

1답변

사이트 맵과 그 디렉토리를 읽는 방법은 무엇입니까?

나는이 특정 사이트 http://www.dictionary.com 에 대한 웹 크롤러를 구축하고 후 robots.txt User-agent: * Disallow: /site= Disallow: /5480.iac. Disallow: /go/ Disallow: /audio.html/ Disallow: /houseads/ Disallow: /askho

0열

1답변

기계화는 robots.txt에로 인해 403 오류를 가져옵니다,하지만 난 온과 오프의 몇 일에 첫 번째 종류의 오류를 가지고

robots.txt에 블록 아무것도 긁어 없다 사이트의 .txt를 읽 사이트가 이러한 종류의 액세스 폐쇄 된 경우 User-agent: * Disallow: 이 this source에 따르면, robots.txt에이 Disallow: / 포함됩니다. 오류가 계속해서 스크래핑을 중지해야한다는 의미입니까, 아니면 다른 문제가 있습니까? 요청을 덜 자주하는

1열

1답변

파이썬을 사용하여 웹 페이지를 긁을 수 없습니다.

이전에 비슷한 question을 게시했습니다. 나는 import requests url = 'https://www.zameen.com/' res = requests.get(url) data = res.text print(data) 그것의 응답이 나는 BOT 중 하나입니다 또는 자바 스크립트를 사용할 수 없습니다 말한다 다음과 같은 방법을 사용하

0열

1답변

Django 응용 프로그램에서 robots.txt에 대한 권장 지침은 무엇입니까?

현재 내 django 프로젝트의 구조는 다음과 같습니다. , 의 I 내 robots.txt 파일에 추가해야 지침을 권장 무엇 : User-agent: * Allow:/ Sitemap: mysite.com/sitemaps.xml 내가 일 다음 알고 싶어 ./ ../ app1/ app2/ django_project manage.py media

2열

1답변

/robots.txt를 구문 분석 할 Java 정규식

robots.txt 파일을 구문 분석 할 적절한 정규식을 찾으려고합니다. User-agent: * Disallow: /a Disallow: /b/c Disallow: /d/c/h User-agent: agent1 Disallow: /a1/c1 Disallow: /b1/d1 User-agent: agent2 Disallow: /a2/c2

0열

1답변

robots.txt는 WordPress에 어디에 있습니까?

wordpress를 사용하여 웹 응용 프로그램을 만들었습니다. 내가 구글에서 이름을 검색 할 때이 이 결과에 대한 설명을 보여주는 이유로 인해이 사이트의 robots.txt으로 사용할 수 없습니다 나는 URL/robots.txt.It 디스플레이를 입력 User-agent: * Disallow: /#/register Disallow: /#/login

0열

1답변

robots.txt에 - 나는 하면 내 사이트에</p> <p>모든 이미지 폴더/pubstore에 저장되어있는 내 sitemap.xml의 내 robots.txt를 사이에 충돌이 구글을 갖고있는 것 같다 폴더를 금지하지만, 폴더

내에서 파일을 허용 그 폴더에있는 파일 목록을 포함하지 않기 때문에 아무것도 찾지 못하는 폴더를 크롤링합니다. 그러면 Google 검색 콘솔에 수백 개의 404 오류가 생성됩니다. Disallow: '/pubstore/' 무엇 이제 어떻게하면 해당 폴더 내에서 또는 해당 폴더의 하위 디렉토리에있는 파일은 구글에 대한 블록 있다는 것입니다과 : 내가하기로