Diferencias

Muestra las diferencias entre dos versiones de la página.

--- como-se-concentra-la-oferta-por-barrios-de-airbnb [2018/04/20 01:02] – [4.2 Añadir localización de barrio a cada punto] numeroteca
+++ como-se-concentra-la-oferta-por-barrios-de-airbnb [2018/09/26 19:11] (actual) – [4.3 Proporción de pisos por barrio] numeroteca
@@ Línea 19: / Línea 19: @@
     * Donostia: ''/data/listings_donostia_simple.csv''.
     * Pamplona: ''/data/original/171002_airbnb_apartments-navarra_datahippo.csv''
-    * Madrid: ''/listings_airbnb-madrid_insideairbnb-datahippo_merged.csv''
+    * Madrid: ''[[https://github.com/montera34/airbnb.madrid.analisis/blob/master/data/output/listings_airbnb-madrid_insideairbnb-datahippo_merged.csv|listings_airbnb-madrid_insideairbnb-datahippo_merged.csv]]''
+    * Barcelona: [[https://github.com/montera34/airbnb.barcelona/blob/master/data/original/airbnb/180911/listings_summary_barcelona_insideairbnb.csv|/data/original/airbnb/180911/listings_summary_barcelona_insideairbnb.csv]]
   * **Contorno de barrios**.
     * Donostia: https://github.com/montera34/airbnbeuskadi/blob/master/data/original/BARRIOS_EUSTAT_5000_ETRS89.zip.
     * Pamplona: https://github.com/numeroteca/airbnbnavarra/blob/master/data/original/limites/DIADMI_Pol_Municipio.zip
     * Madrid: https://github.com/montera34/airbnb.madrid.analisis/blob/master/data/original/contornos/barrios_madrid_ETRS89.zip
+    * Barcelona: [[https://github.com/montera34/airbnb.barcelona/blob/master/data/original/contornos/barrios_geo.json|barrios_geo.json]]
 Con estos datos podremos calcular:
@@ Línea 29: / Línea 31: @@
   * Número de alojamientos de Airbnb por barrio.
-Para la proporción de viviendas de Airbnb respecto del total necesito el **número de viviendas por barrio**:
+Para la proporción de anuncios de Airbnb respecto del total necesito el **número de viviendas por barrio**:
   * Donostia: [[http://opendata.euskadi.eus/catalogo/-/viviendas-de-la-c-a-de-euskadi-por-barrios-de-los-municipios-de-mas-de-10-000-habitantes-segun-tipo-y-caracteristicas-de-las-viviendas-familiares-principales/|Número de viviendas por barrio en Donostia]]. Viviendas de la C.A. de Euskadi por barrios de los municipios de más de 10.000 habitantes. Los datos en limpios en .csv utilizable: /data/viviendas-barrios-donostia.csv
   * Pamplona: [[https://github.com/numeroteca/airbnbnavarra/blob/master/data/original/pamplona-viviendas-por-barrio-2016.csv|viviendas por barrio]].
   * Madrid https://github.com/montera34/airbnb.madrid.analisis/blob/master/data/output/madrid-variables-barrios-clean.csv
+  * Barcelona: [[https://github.com/montera34/airbnb.barcelona/blob/master/data/original/demografia-vivienda/habitantes-viviendas-por-barrios_padron2018_ayto-barcelona.csv|habitantes-viviendas-por-barrios_padron2018_ayto-barcelona.csv]]
-[[airbnb:datos:madrid|Ver datos para Madrid]].
+[[airbnb:datos:barcelona|Ver datos para Barcelona]].
 ===== 3. Qué herramientas uso para preparar los datos. Qué pasos debo seguir =====
@@ Línea 44: / Línea 47: @@
 Nota sobre ubicación en Airbnb: los puntos de los alojamientos descargados por InsideAirbnb tienen una ubicación aproximada. Según su propia web: //"Location information for listings are anonymized by Airbnb. In practice, this means the location for a listing on the map, or in the data will be from 0-450 feet (150 metres) of the actual address. Listings in the same building are anonymized by Airbnb individually, and therefore may appear "scattered" in the area surrounding the actual address"//. Por tanto algunos pisos están ubicados fuera del barrio que les corresponde, incluso en el mar, lo cual hace que los números de alojamientos por barrios en los análisis que vamos a a realizar dejen algunos alojamientos fuera.
-Opcional: Sin embargo los alojamientos sí que tienen asociado el código postal. Habría que hacer una tabla de equivalencia entre barrios y códigos postales. Con esta tabla podemos recorrer los registros de Inside Airbnb y añadir una columna que sea barrio. Esta unión de tablas puede ralizarse con QGIS.
 === 3.2 Contorno de barrios ===
@@ Línea 66: / Línea 67: @@
   - Por último, si queremos tener el conjunto de archivos que componen un shapefile comprimidos en un único archivo, hay que comprimir los archivos generados en un ZIP para poder usarlo, por ejemplo en Carto.com, una de las herramientas posibles para hacer el mapa.
-Para el caso de Euskadi, este archivo contendrá todos los barrios de Euskadi. Se puede editar la tabla asociada a esa capa en QGIS [a completar explicación] y quitar todos los barrios que no nos interesen para dejar solamente los barrios de Donostia. El archivo con solo los barrios de Donostia puedes descargarlo aquí /data/barrios-donostia.zip.
+Para el caso de Euskadi, este archivo contendrá todos los barrios de Euskadi. Se puede editar la tabla asociada a esa capa en QGIS [a completar explicación] y quitar todos los barrios que no nos interesen para dejar solamente los barrios de Donostia. El archivo con solo los barrios de Donostia puedes descargarlo aquí [[https://github.com/montera34/airbnbeuskadi/blob/master/data/barrios-donostia.zip|/data/barrios-donostia.zip]].
 == Con R ==
@@ Línea 87: / Línea 88: @@
 ===== 4. Qué herramientas uso para producir la visualización. Qué pasos debo seguir =====
-==== 4.1 Número de alojamientos en cada barrio ====
+Necesitamos calcular los puntos (alojamientos) de Airbnb en cada polígono (barrio).
-Necesitamos calcular los puntos (alojamientos) de Airbnb en cada polígono (barrio).
+A veces las bases de datos ya ofrecen la información de a qué barrio pertenece cada anuncios (ver variable ''neighborhood'' en las bases de datos de InsideAirbnb) por lo que no haría falta realizar los pasos 4.1 y 4.2. Bastaría con realizar una tabla dinámica en cualquier programa de hoja de cálculo para contar el numero de anuncios por barrio.
+==== 4.1 Número de alojamientos en cada barrio (contar puntos en polígonos)====
 === 4.1.a Modo interfaz gráfica (QGIS) ===
@@ Línea 98: / Línea 101: @@
   - Si el archivo tiene columnas que se llamen "latitude" y "longitud" las reconocerá como coordenadas y aparecerá la sección Point coordinates marcada.
   - Escogemos el mismo sistema de proyección que con los contornos WGS 84.
+  - Añade la capa con los barrios. Ejemplo para Madrid https://github.com/montera34/airbnb.madrid.analisis/blob/master/data/output/contornos/barrios_EPSG4326-WGS84.zip
   - En el panel de la derecha Processing Toolbox selecciona en el menú: Processing Toolbox -> QGIS Geoalgorithms -> Vector analysis tools -> Count Points in Polygon.
 {{:qgis-count-points-in-polygon.png?400|}}
   - Si ambas capas comparten CRS no me dará error ni avisao de error y realizará el cálculo. Puedo cambiar el nombre por defecto de la columan ''NUMPOINTS'' por ''n_listings_airbnb''. Tras calcular QGIS crea una nueva capa de contornos debarrios que incluye el nuevo valor de alojamientos por barrio. Podemos elegir en este paso crear el archivo csv o GeoJSON directamente. Preferimos ver resultados y luego salvar.
-  - BOtón derecho sobre capa "Open Atribute Table" para ver la tabla de datos. VEmos lo siguiente, a la derecha la columna ''n_listings_airbnb'' contiene los valores calculados.
+  - Botón derecho sobre capa "Open Atribute Table" para ver la tabla de datos. VEmos lo siguiente, a la derecha la columna ''n_listings_airbnb'' contiene los valores calculados.
 {{:qgis_n-listings-airbnb-table.png?500}}
   - Ahora puedo salvar esa capa como un GeoJSON (barrios-madrid_n-listings-airbnb.geojson) y un .csv (barrios-madrid_n-listings-airbnb.csv) para utilzarlas más adelante (botón derecho sobre capa y ''save layer as'').
@@ Línea 120: / Línea 124: @@
 Este script de SQL llenará la columna ''alojamientos'' con el número de puntos que haya en cada contorno. Si visitas de nuevo la tabla de datos ''barrios_donostia'' podrás ver lo datos que hay en la columna ''alojamientos''. Nota: insideairbnb a veces posiciona los puntos en el mar (y por tanto fuera de la zona delimitada como barrio) por lo tanto el número total de puntos será algo menor que el total de alojamientos listados en airbnb.
-=== 4.1.c Modo Builder (Carto.com) ===
+=== 4.1.c Modo script (R) ===
-Este modo utiliza la interfaz gráfica nueva de Carto.com.
+Con este script de R puedes añadir la columna de barrio a un archivo de puntos basado en su ubicación: https://github.com/montera34/airbnb.barcelona/blob/master/analisis/points-in-polygons.R
-  - Sube a tus bases de datos los archivos: ''barrios-donsotia.zip'' y listings_donostia_simple.csv
-  - Crea un mapa y añade como capas ''barrios-donsotia'' y ''listings_donostia_simple''
-  - Sitúate en la capa ''barrios-donsotia'' y ve a "Analysis". Añade "add" nuevo análisis.
-  - Selecciona el modo "Intersect second layer. Intersect with a second layer and calculate aggregations on the fly".
-  - En el menú desplegado debes tener: Aggregate intersection: Base layer - barrios_donostia; Intersect Layer - listings_donostia_simple Measure by: Operation - COUNT.
-  - Click en "Apply". Eso generará una nueva columna en la base de datos llamada "count_values".
-  - Entra en el modo tabla y cambia el nombre de la columna. Llámala "alojamientos_airbnb".
-Extra: 8. Puedes repetir el paso 5 pero ahora para usando COUNT y seleccionando la variable "accomodates" (plazas) para que sume todas las plazas por barrio: Measure by: Operation - sum(accommodates). Generará la columna "sum_accommodates". Para hacer esto tienen que añadir otro análisis.
+==== 4.2 Añadir localización de barrio a cada punto (añadir a cada punto el polígono en que se encuentra) ====
-=== 4.1.d Modo Editor(Carto.com) ===
-Este modo utiliza la interfaz gráfica antigua de Carto.com. Algunos usuarios antiguos aún no tienen el modo "Builder".
-  - Entra en el modo dataview del archivo de contornos de barrios de Donostia barrios_donostia.
-  - Haz click en el icono "merge datasets" de abajo a la derecha. merge-datasets-carto
-  - Selecciona la opción "Spatial join. Measure the number of intesecting records between two datasets (ex. count point inside polygons)". merge-datasets-carto
-  - A la izquierda tendrás la base de datos de los barrios de Donostia (activa todos los campos). A la derecha selecciona la base de datos de los puntos, en nuestro caso listings_donostia_simple. Selecciona la opción "COUNT" de abajo. merge-datasets-carto
-  - Click en "Merge datasets". La columna "intersect_count" de la nueva base de datos creada, voila, barrios_donostia_merge tiene el número de alojamientos en cada barrio. merge-datasets-carto Puedes cambiar el nombre de la columna por "viviendas_airbnb" o el nombre que quieras, para saber lo que contiene.
-Extra: para calcular el número de plazas (la variable accommodates) seguiremos el mismo proceso pero en el paso 4. seleccionaremos la variable accommodates y la opción "SUM" para que sume todas las plazas que hay en esos alojamientos.
-==== 4.2 Añadir localización de barrio a cada punto ====
 Otra forma de abordar el problema es calcular en qué barrio está cada punto y asociar esa información a la base de datos. Este método añadirá el nombre del barrio a cada anuncio según se ubique el punto dentro del contorno de un barrio.
@@ Línea 157: / Línea 140: @@
   - Salva la capa como un shapefile, csv (listings_airbnb-madrid_insideairbnb-datahippo_merged_con-barrio.csv) o geojson y comprueba que se ha añadido la columna de “barrio” a tus base de datos de anuncios.
+El resultado de anuncios de Airbnb con el barrio añadido puedes descargarlo aquí:
-El resultado puedes descargarlo aquí:
   * Navarra https://github.com/numeroteca/airbnbnavarra/blob/master/data/output/171002_airbnb_apartments-navarra-por-municipio_datahippo.csv
   * Madrid data/output/listings_airbnb-madrid_insideairbnb-datahippo_merged_con-barrio.csv
+  * Barcelona:
-Ahora con una tabla dinámica puedes calcular el número de anuncios por barrio.
+Ahora mediante una tabla dinámica en culquier programa de hoja de cálculo puedes calcular el número de anuncios por barrio y salvarlo en un archivo .csv por separado.
-==== 4.3 Proporción de pisos por barrio ====
+Resultado final para Barcelona: [[https://github.com/montera34/airbnb.barcelona/blob/master/data/output/airbnb/180911/barrios-n-listings-airbnb-barcelona-insideairbnb.csv|data/output/airbnb/180911/barrios-n-listings-airbnb-barcelona-insideairbnb.csv]].
-Para hacer este paso necesitamos unir información que está en diferentes archivos. En concreto necesitamos hacer el cociente: nº de alojamientos de airbnb / nº viviendas para cada barrio. Los datos de nº de viviendas por barrio los tenemos en viviendas_barrios_donostia.csv en la columna total. Tenemos que pasar esos datos a la tabla de datos de barrios_donostia.
+==== 4.3 Ratio de anuncios de Airbnb por viviendas existentes en el barrio ====
+Para hacer calcular el ratio de anuncios de Airbnb por cada 100 viviendas existentes en el barrio necesitamos unir información que está en diferentes archivos. En concreto necesitamos hacer el cociente: nº de alojamientos de airbnb / nº viviendas para cada barrio. Tendremos por un lado una tabla con los datos de nº de viviendas por barrio y otra con el número de anuncios de airbnb por barrio, tenemos que unirlas.
 === 4.3.a Modo con QGIS ===
-  - Join table desde el menú de propiedades de una capa.
+  - Añade la capa de contornos de barrio que contiene el número de anuncios de Airbnb. Si añades un archivo geojson (como ''barrios-madrid_n-listings-airbnb.geojson'') no te dejará editarlo ([[https://gis.stackexchange.com/questions/61891/attribute-editing-in-qgis-on-geojson-file#61896|ver por qué]]) así que mejor conviértelos a formato Shapefile .sph (ESRI) y añádelo al mapa como nueva capa.
+  - En propiedades de la capa ve a la sección ''Joins'' y dale al ''+'' verde.
+{{:qgis-join-table.png?500}}
+  - Rellena:
+    * Join Layer: la capa con la información de número de viviendas por barrio (del archivo ''madrid-variables-barrios-clean.csv'')
+    * Join Field: la columna que tiene el nombre del barrio (''name'')
+    * Target field: ''NOMBRE'' que es el nombre de la columan que incluye el nombre el barrio
+    * Custom field name prefix: ''madridvar_''
+    * Dale a ''Apply''
+{{ :qgis_add-vector-join.png?400 |}}
+  - Si ahora vamos a la sección ''Fields'' de la capa veremos como se han añadido nuevas variables, las que vienen del archivo madrid-variables-barrios-clean.csv
+  - Ahora con botón derecho sobre la capa ''Atribute table'' para editar los datos. Veremos las nuevas columans que acabamos de crear.
+{{ :qgis-edit-table.png?400 |}}
+  - Pulsa en el lápiz de arriba a la izquierda para poder editar la capa.
+  - Crea una columna nueva (botón de arriba a la derecha)
+{{ :qgis-add-field.png?400 |}}
+  - Pulsa en el icono del ábaco para calcular el cociente entre número de anuncios por barrio y número de viviendas por barrio: ''"n_listings" / "madridvar_Nº Total de viviendas familiares (Censo Edificios y Viviendas 2011)" * 100''. Pon que actualice la variable recien creada en el paso anterior ''ratioturis''. Dale a aplicar. Nota: se pueden usar otras variables como:
+    * Nº total de hogares
+    * Nº de viviendas
+    * Nº Total de viviendas familiares (Censo Edificios y Viviendas 2011)
+    * Nº Total de viviendas (Censo Edificios y Viviendas 2011)
+{{ :qgis-calculate-ratio.png?400 |}}
+  - Ya tienes la variable creada con el ratio de anuncios deAirbnb por cada 100 viviendas. Ahora quieres que tenga solamente 2 decimales, debes repetir el paso anterior pero con este cálculo para actualizar ''ratioturis'': ''round( ratioturis, 2 )''
+{{ :qgis_menos-decimales.png?400 |}}
+  - Dale a ok y vuelve a pulsar en el lápiz, para salvar los cambios.
-=== 4.3.b Modo manual (Carto) ===
-Puedes meter esos datos en Carto "a mano" en la tabla de valores. Añade columna y edita todos los campos. Copia pega. Son sólo 18 valores. Fácil.
-Pero más fácil todavía lo siguiente:
+===== Mapa de coropletas 3 =====
-  - Descarga la tabla generada en el anterior ejercicio en table. Es la tabla de contornos de barrios que ahora incluye los valores de alojamientos por barrio.
+Ya solo nos queda hacer el mapa de coropletas utilizando la variable del ratio calculado. Fácil.
-  - Edita con un editor de hojas de cálculo y añade los valores a cada barrio de los datos de /data/viviendas-barrios-donostia.csv
-  - Crea una columna percent_turisticas y haz el cálculo: ''100 * (viviendas airbnb / viviendas totales)'' para calcular el porcentaje.
-  - Salva la tabla como .csv y súbela a carto.
-=== 4.3.c Modo script (Carto.com) ===
+==== Modo QGIS ====
-== Junta dos tablas ==
-Primero tenemos que añadir al mapa de carto la base de datos viviendas_barrios_donostia. Esta base de datos contiene el número de viviendas por barrio.
-Usaremos el siguiente script (un join) para unir ambas tablas:
-''UPDATE barrios_donostia SET viviendas_join = viviendas_barrios_donostia.totalFROM viviendas_barrios_donostia WHERE barrios_donostia.bar_ds_o = viviendas_barrios_donostia.barrios''
-que traducido a lenguaje común significa: actualiza (UPDATE) la tabla barrios_donostia y pon (SET) el número de viviendas por barrio de la tabla viviendas_barrios_donostia (el nombre de la columna es total) (FROM) en las filas donde coincidan la columna bar_ds_o (nombre del barrio) de un archivo con la columna barrios de otro (WHERE).
-De este modo tendremos los datos de viviendas por barrio en la tabla de contornos de barrios.
-=== Calcula porcentaje de alojamientos de Airbnb por el total de viviendas ===
-Luego nos queda calcular el porcentaje con otro script que divide una columna por otra (nº de alojamientos de airbnb / nº viviendas para cada barrio). Antes de esta operación hay que crear la coluna percent_turisticas:
-''UPDATE barrios_donostia SET percent_turisticas = alojamientos * 100 / viviendas''
-Esto es, en la tabla de los contornos de los barrios mete en la recién creada columna percent_turisticas el resultado de dividir el número de viviendas por el total de viviendas en ese barrio viviendas. Multiplica por 100 para obtener el porcentaje.
-Para evitar que salgan muchos decimales correr este script:
-''UPDATE barrios_donostia SET percent_turisticas = round( CAST(percent_turisticas as numeric), 2 )''
-Pasará de 0.124342983492 a 0.12.
-Manual: para join: https://carto.com/academy/courses/sql-postgis/joining-data
-=== 4.3.d Modo Builder (Carto.com) ===
-Tienes que unir los datos incluidos en dos tablas diferentes: la tabla de barrios_donostia con el número de viviendas por barrio de la tabla viviendas_barrios_donostia.
-Entra en el modo dataview del archivo de contornos de barrios de Donostia.
-Haz click en el icono "merge datasets" de abajo a la derecha. merge-datasets-carto
-Selecciona la opción "Column join. Merge two datasets based on a shared value (ex. ISO codes in both datasets)". merge-datasets-carto
-A la izquierda selecciona barrios_donostia y la variable bar_ds_o (que contiene el nombre de los barrios) y a la derecha la tabla "viviendas_barrios_donostia" y la variable barrios. Click en "next". merge-datasets-carto
-Selecciona las variables de ambas tablas que quieras incluir. De la izquierda todas, y de la derecha todas menos "barrios" ya que si la incluyes estarías duplicando el nombre del barrio. CLick en "merge data sets". merge-datasets-carto
-Renombra la tabla para saber lo que inclute: barrios_donostia_viviendas_airbnb_normales
-===== Mapa de coropletas 3 =====
-Ya solo nos queda hacer el mapa de coropletas utilizando la variable percent_turistica. Fácil.
+- Ahora vamos a dar estilo al mapa. Botón derecho sobre la capa, Propiedades > Style. Elige:
+    * Graduated
+    * Column: ''Ratioturis'' (la variable donde hemos guardado el ratio)
+    * Mode: Juega con Equal interval, Natural breaks (jenks) y
+    - Dale a ''Classify'', lo que genera los rangos y los colores.
+    - Dale a ''Apply'' y ''OK''.
+{{ :qgis_coropletas-select.png?400 |}}
+  - ¡Tenemos el mapa! Coloreado usando modo "jenks" de partición de intervalos.
+{{ :qgis_jenks-turistificacion-map.png?400 |}}
+  - Es posible mirar el histograma para ver cómo Jenks hace las particiones:
+  {{ :qgis_histograma.png?400 |}}
+  - Ahora falta exportar el mapa.[[http://www.qgistutorials.com/en/docs/making_a_map.html|Mira a partir de paso 7 de este tutorial]]. [completar]
+  - Crear layout
+  - Añadir mapa
+  - Cambiar nivel de zoom
+  - Añadir leyenda
+  - Exportar a pdf o SVG y continuar la edición en Inkscape para combinar un mapa con un gráfico de barras.
 ===== Gráfico de barras =====