2017-02-17 4 views
0

for 루프를 사용하여 사이트의 일부 디렉토리를 크롤링하고 있습니다.Python3 문자열 변수가 내 urllib.request를 엉망으로 만듭니다.

for url in URL_list: 

    for paged in range(1,99): 
     fullURL=("%s/?count=96&paged=%s&p=&page_id="%(url,paged)) 

     print(fullURL) 
     source= urllib.request.urlopen(fullURL) 

내가 http.client.BadStatusLine: <!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN"> 내가이 http://www.somesite.com/category/new-items /?count=96&paged=1&p=&page_id=

EDIT 1 로 인쇄되어 있기 때문에 문제가 인해 fullURL 문자열 변수에 발생 확신하여 오류가 발생하면 "URL 것 같은데 "목록의 변수는 공백과 함께 저장됩니다.

+0

'page_id'는 어떻게됩니까? 그것도 지정해야합니다, 그렇죠? 그러나 그것은 당신의 본보기가 아닙니다. – Highstaker

+0

@Highstaker 그것은 중요하지 않은 것 같습니다. 문제는 URL에있는 것이 아니라 저장 및 인쇄 방법에 관한 것입니다. URL의 디렉토리가 다음 행에 있습니다. – Volpym

답변

0

그래서 다음 코드로 문제를 해결했습니다. 미래에 도움이되기를 바랍니다.

for url in URL_list: 
     for paged in range(1,99): 
      URLDirectory="/?count=96&paged=%s&p=&page_id="%paged 
      fullURL=url+directoryURL 
      fullURL=''.join(fullURL.split())