taller-web-scraping-hirikilabs:arte
¡Esta es una revisión vieja del documento!
Intentamos sacar litografias y grabados de arte de Milanuncios, desestimamos mil anuncios por la cantidad de filtros que nos impiden objetivo.
A lo grande Cristina y yo iremos a por el Museo del Prado web https://www.museodelprado.es nos acercamos a la busqueda y utilizando el truco de asteriscos * sacamos la cantidad de obras 15361 resultados
ahora a por ellos e intentar bajarlos todos https://www.museodelprado.es/coleccion/obras-de-arte?searchObras=*
import urllib2 from bs4 import BeautifulSoup # Soy Mozilla headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36' } for counter in range(1,1111): url = 'https://www.museodelprado.es/coleccion/obras-de-arte?searchObras=*********|pagina='+str(counter) # Get URL response = urllib2.Request(url,headers=headers) pagedata = urllib2.urlopen(response) html = pagedata.read() # Get links soup = BeautifulSoup(html, "html.parser") links = soup.select('.mostrable dt a') for link in links: print link.get_text()
Funciona perfectamente con pequeño problema de duplicados que repararemos.
Creadores Cristina Miranda cristmiranda@telefonica.net Oscar Frutos pcorax@gmail.com
taller-web-scraping-hirikilabs/arte.1518027850.txt.gz · Última modificación: 2018/02/07 19:24 por zyrano66