Recent searches
Search options
Administered by:
@rennerocha tendo mais de 10 sites, de mesma temática, mas que são, em si diferentes (falo do código, layout etc) quão complicado é conseguir escrever uma spider para ele usando Scrapy?
@riverfount@bolha.us@rennerocha Ou a melhor estratégia é partir para escrever 10 spiders, em vez de um que raspe os dados dos 10 de uma vez?
@riverfount se a temática é a mesma, vc pode compartilhar o schema do item retornado (e talvez pipelines de validação). Porém como cada site é diferente, um spider por site é melhor para deixar isolado cada um deles. Assim vc consegue monitorar mais facilmente e o código não fica mais complicado do que necessário.
Dá uma olhada em como os spiders do Querido Diário são organizados
https://github.com/okfn-brasil/querido-diario/
@rennerocha Obrigado Renne, vou analisar esse repo que vc me indicou. Acredito tb que manter um scrap por site é mais simples e eficaz do que complicar criando um monstrinho para raspar vários sites de uma vez!