robots.txt

4열

1답변

악성 크롤러가 Heroku에 배포 된 레일 앱을 크롤링하지 못하게하려면 어떻게해야하나요?

Heroku에서 실행중인 레일 앱에 대한 크롤러 액세스를 제한하고 싶습니다. 아파치 또는 nginX를 사용했다면 이것은 곧장 앞으로의 작업이었을 것입니다. 앱이 Heroku에 배포 되었기 때문에 HTTP 서버 수준에서 액세스를 어떻게 제한 할 수 있는지 잘 모르겠습니다. robots.txt 파일을 사용해 보았지만 위반하는 크롤러는 robot.txt를 사용하

0열

1답변

Java/1.6.0_24가 로봇이되어 링크를 새로 고치는 방법

이제 log4net 기본 오류 로깅 프레임 워크를 사용하는 사이트가 많아지고 사이트에 추가되는 곳에서 오류가 발생합니다. 우리 중 일부는 google, bing, yahoo 등과 같은 "Bot"때문에 오류가 발생하는 것을 발견했습니다. 그러나 해결 방법에 대해서는 확실하지 않습니다. 그것에 대해 두 가지 질문이 있습니다. "Java/1.6.0_24"는 Bo

2열

1답변

htaccess에서 first-robots.txt 또는 mod_rewrite라고하는 내용

도움이 필요합니다. mod_rewrite 및 robots.txt 요청시 주문에 대해 잘 모르겠습니다. /index.php?id=444 내 robots.txt에이 항목을 만든 : User-agent: * Disallow: /index.php?id 을 /index.php?id=123 to /home 다른 URL을 재 작성을하지 않아도 : 일부 UR

7열

2답변

Robots.txt : 하위 디렉토리를 허용하지 않지만 디렉토리 허용

파일 크롤링을 허용하고 싶습니다. /directory/ /directory/subdirectory/ 올바른 robots.txt 명령 : User-agent: * Disallow: /subdirectory/ 무서워요. 내가/directory/subdirectory/ 을 허용하지 않으면/directory /에있는 모든 파일을 크롤링 할 수 없도록

3열

1답변

원본 서버에서 크롤링을 허용하지 않고 robots.txt가 제대로 전파되도록하려면 어떻게해야합니까?

저는 다소 독특한 문제가 있습니다. 대규모 사이트를 확장하고 Akamai와 같은 회사와 협력하는 경우 Akamai와 대화하는 원 서버가 있습니다. Akamai에게 어떤 서비스를 제공 하든지, 그들은 그들의 CDN에 전파 할 것입니다. 하지만 어떻게 robots.txt를 처리하나요? Google이 귀하의 출신을 크롤링하는 것을 원하지 않습니다. 거대한 보안

1열

3답변

robots.txt를 사용하여 전자 메일 주소를 허용하지 않을 수 있습니까?

내 웹 사이트의 바닥 글에 info @ mydomain으로가는이 전자 메일 주소가 있습니다. 나쁜/좋은 로봇이이 주소의 색인을 생성하지 못하게 할 수 있는지 알고 싶습니다. 고맙습니다.

0열

1답변

제발 좀 간단한 nginx 하위 도메인 robots.txt에 대한 문제를 재작 성하는 데 도움이

내 하위 도메인에 대해 다른 robots.txt 파일을 가리 키길 원했습니다. 잘 작동의 favicon.ico if ($host ~ subdomain) { rewrite ^/favicon.ico$ /favicon.ico break; rewrite ^/robots.txt$ /robots.subdomain.txt break; rewr

2열

1답변

HttpWebRequest는 .NET에서 robots.txt를 준수합니까?

저는 웹 개발자가 자신의 사이트에서 HTML을 '스캔'할 수있는 도구를 만들고 있습니다. 이렇게하려면 사이트에서 페이지를 다운로드하려면 내 Asp.Net 응용 프로그램이 필요합니다. 악용 사례로부터 보호하기 위해 다른 방법들 중 robots.txt에 복종해야합니다. HttpWebRequest가 이미이 작업을 수행합니까? 아니면 사용자 에이전트 문자열을 사용

-1열

1답변

로그인 실패시 .htaccess 리다이렉트 시도가 어려움

내가 달성하기를 희망하는 것은 상당히 간단합니다. 나는 사람들이 로그인하지 않고도 접근 할 수 있도록 웹 서버의 루트에 개발 폴더를 가지고있다. 개발자가 개발중인 페이지를 방문하고 로그인이 없거나 로그인 및 실패를 시도하면 .htaccess 파일을 오류 페이지로 리디렉션해야합니다. 그러면 오류 페이지가 지연되어 홈페이지로 리디렉션됩니다. 내가 읽고 루트에

0열

1답변

rel = nofollow a subdomain

광고용으로 사용하는 하위 도메인이 있습니다. 광고를 게재하기 위해 openx가 설치되어 있습니다. rel = nofollow를 추가하는 것과 같이 하위 도메인의 모든 항목을 처리하도록하려면 어떻게해야합니까? Google 및 다른 검색 엔진이 광고의 가치가 있다고 생각하지 않기를 바랍니다.