Scrapy Json Rule SgmlLink Extractor

Question

웹 사이트에서 html 대신 json 응답을 보내면 어떻게 규칙을 세울 수 있습니까? 시작 URL 첫 번째 응답에서 그것은 html 응답을 제공하지만 페이지를 탐색 할 때 json 응답을 제공합니다. 여기 내 규칙 :

Rule(SgmlLinkExtractor(restrict_xpaths=('//div[@class="GridTimeline-items"]'), tags=('div'), 
            attrs=('data-min-position'), allow=(r''), process_value=my_process_value_friends), 
            callback='parse_friends', follow=True), 

제 질문은 json 응답에 xpath를 어떻게 적용 할 수 있습니까?

당신은 XPath는 또는 CSS 선택기와 JSON을 구문 분석 할 수 없습니다

Answer 1

, 감사합니다.

import json 
def parse(self, response): 
    data = json.loads(response.body) 
    # then just parse it, e.g. 
    item = dict() 
    item['name'] = data['name'] 
    # ... 

을 또는 당신은 XML로 JSON을 Conver 유럽 다음 scrapy 선택기로 구문 분석 할 수 있습니다 당신은 그러나 파이썬 사전에 JSON을 해제 할 수 있습니다. 이 그렇게하지만 난 내 예제에서 dicttoxml을 강조 것이다 패키지의 많은 :`SgmlLinkExtractor` 지금 잠시 동안 사용되지 않으며 이후

이

import json 
from dicttoxml import dicttoxml 
from scrapy import Selector 
def parse(self, response): 
    data = json.loads(response.body) 
    data_xml = dicttoxml(data) 
    sel = Selector(root=data_xml) 
    # then parse it 
    item = dict() 
    item['name'] = sel.xpath("//name/text()") 
    # ...