2013-01-25 2 views
0

Webfaction에서 호스팅되는 PostgreSQL 데이터베이스를 사용하는 Django 기반 웹 사이트가 있습니다. 필자는 일반적으로 HTML 테이블의 단일 웹 페이지에있는 모든 데이터를 나열하는 다른 웹 사이트에서 내 데이터베이스의 데이터 (텍스트 파일에 복사하여 붙여 넣기)를 수동으로 수집합니다.웹 사이트에서 내 데이터베이스로 자동화 된 데이터 수집?

파이썬으로 자동으로 데이터를 수집하는 한 html5lib 또는 Scrapy와 같은 것을 사용하여 웹 페이지를로드하고, 원하는 HTML 테이블을 찾고, 데이터를 추출하고, 그것을 JSON으로 포맷 한 다음 내 데이터를 내 데이터베이스에로드하려면

manage.py loaddata fixturename.json 

을 사용하십시오. 내 질문은, 그렇지만이 스크립트가 Webfaction의 서버에서 하루에 한 번 자동으로 실행되도록하려면 어떻게해야합니까?

답변

3

http://docs.webfaction.com/software/general.html#scheduling-tasks-with-cron cron 작업에 추가 시도 할 수 있습니다 하루에 한 번 스크립트를 실행합니다.

귀하의 crontab 파일은 다음과 같이 보일 수 있습니다 :

# Minute Hour Day of Month  Month   Day of Week  Command  
# (0-59) (0-23)  (1-31) (1-12 or Jan-Dec) (0-6 or Sun-Sat)     
    0  1   *    *    *   /usr/bin/python manage.py loaddata fixturename.json 

하면 webfaction 문서를 참조하십시오 (또는 당신은 매일 밤 자정을 실행하는 데 @daily /usr/bin/python manage.py loaddata fixturename.json을 사용할 수 있습니다) : http://docs.webfaction.com/software/general.html#scheduling-tasks-with-cron

1

당신이 원하는에를 CRON 작업을 실행하십시오. 설정 한 일정에 따라 서버에서 작업을 한 번 또는 반복적으로 실행하도록하는 방법입니다.

다른 사람의 콘텐츠를 스크리닝 할 권한이 있는지도 확인하십시오.