우리 회사의 웹 응용 프로그램 중 하나를 크롤링하여 CD로 구워서 영업 사원이 웹 사이트를 데모하기 위해 사용할 수있는 정적 사이트를 만드는 방법을 찾아야합니다. 백엔드 데이터 저장소는 많은 시스템에 분산되어 있으므로 판매 사원의 랩톱에서 VM으로 사이트를 실행하는 것은 효과가 없습니다. 그리고 그들은 몇몇 클라이언트 (인터넷 없음, 셀룰라 전화 ....
방금 웹 크롤러를 생성/사용자 정의하는 것에 대해 생각하기 시작했으며 웹 크롤러/로봇 에티켓에 대해 거의 알지 못합니다. 내가 발견 한 에티켓에 관한 대부분의 글은 오래되고 어색한 것처럼 보이기 때문에 웹 개발자 커뮤니티에서 현재 (실제적인) 통찰력을 얻고 싶습니다. 사이트 XYZ의 마크 업은 조건 ABC를 충족합니까? "간단한"목적을 위해 "웹"을 걷