Recetas y manuales

Esta página recoge diferentes recetas y scripts para facilitar el análisis en diferentes lenguages y herramientas.

Para documentar una pregunta que aún no esté en wiki hay que crear una nueva página y se puede copiar la estructura de documentación de la siguiente plantilla: documentacion-tipo

Este es un listado de preguntas con sus manuales correspondientes para analizar y producir visualizaciones sobre datos de Airbnb que se han ido desarrollando en los diferentes talleres de Efecto Airbnb:

• ¿Cómo se concentra la oferta por barrios de Airbnb? Dificultad ALTA. Manual Completo. Resultados: sí.

* ¿Cómo ha sido la evolución del ratio de viviendas turísticas (Airbnb) sobre vivienda residencial en los barrios de Madrid desde 2015? Dificultad MEDIA. Manual Completo. Resultados: sí.

Por completar:

• ¿Qué cantidad de anuncios Airbnb son pisos completos? ¿Cuántos son habitaciones?. Dificultad FÁCIL. Manual No realizado. Resultados: sí.
• ¿Qué porcentaje del total de plazas de alojamiento turístico no están "reguladas"? ¿Qué cantidad de alojamientos turísticos son pisos Airbnb?. Dificultad ALTA. Manual No realizado. Resultados: en parte.
• ¿Cuánta actividad hay en Airbnb en Donosti? ¿Cuántas reservas hay en Airbnb durante un año? ¿Cuál ha sido la evolución durante los 10 últimos años?. Dificultad MEDIA/ALTA. Manual No realizado. Resultados: no.
• Comparativa entre capitales vascas. Comparativa con otras ciudades (Madrid, Barcelona y Mallorca). Dificultad MEDIA. Manual No realizado. Resultados: en parte.

Un cartograma:

• Código https://github.com/montera34/airbnb.efecto/blob/master/pamplona/cartograms/index.html
• Visualización: https://lab.montera34.com/airbnb/pamplona/cartograms/index.html

Desde Montera34 hemos preparado 2 scripts de R para procesar los datos:

• prepare-segmented-files.R para procesar los datos y generar archivos más manejables. Genera archivos .csv y .tsv. Lo que hace este script es “partir” los datos de Airbnb en Euskadi en cómodos .tsv y csv por ciudades. También selecciona ciertas columnas para tener archivos más ligeros, de ahí el sufijo “_simple”.
• Este script generado con Rmarkdown está pensado para comparar dos bases de datos de Airbnb y poder evaluar los métodos de scraping. Más información sobre el script.
• airbnb-informe-ciudad.Rmd para generar informes de las ciudades con múltiples gráficos. El archivo tiene una variable que permite cambiar el nombre del municipio sobre la que se genera el informe. Genera artchivos .html con knitr.

Los informes no están muy depurados (hay muchas gráficas no del todo útiles) y son mejorables, pero son una buena base de la que partir. Y sobre todo ¡se producen automatizadamente!

• Donostia https://lab.montera34.com/airbnb/process/montera34/airbnb-informe-donostia.html
• Bilbao https://lab.montera34.com/airbnb/process/montera34/airbnb-informe-bilbao.html
• Vitoria https://lab.montera34.com/airbnb/process/montera34/airbnb-informe-vitoria.html
• Zarautz https://lab.montera34.com/airbnb/process/montera34/airbnb-informe-zarautz.html

Desde Terraferida han generado una serie de scripts de R para analizar datos de Airbnb y Homeaway.

Esta receta es útil para solucionar errores de codificación de caracteres o unificar valores semejantes o equivalentes para hacer counts o estadísticas después (San Sebastian y Donostia por ejemplo).

UPDATE TABLE_NAME SET col_name = REPLACE(col_name,'old_value','new_value')

Esta operación se resuelve con una unión (join) de SQL entre dos tablas. Para ello hay que usar un valor que relacione los registros de ambas tablas. En el siguiente ejemplo vamos a unir las tablas table_1 y table_2, seleccionando las columnas col_1 y col_4 de la table_1 y la columna col_3 de la table_2. Las columnas de relación serán code de la table_1 e id de la table_2:

SELECT table_1.col_1,table_1.col_4,table_2.col_3
FROM table_1, table_2
WHERE table_1.code = table_2.id

También se puede hacer con el siguiente código con el que, a modo de ejemplo, se añade la población de cada barrio a una tabla de barrios que no la tiene:

UPDATE table_1
SET poblacion = table_2.habitantes
FROM table_2
WHERE table_1.barrio = table_2.barrio

CARTO es un servicio web open source para crear mapas y visualizaciones. Utiliza SQL para hacer llamadas a los sets de datos. Para saber cómo interactuar con los datasets usando el editor SQL de CARTO se puede consultar el siguiente manual: https://carto.com/academy/courses/sql-postgis/