El 11 de marzo el evento estrella de Escuela de Datos y SocialTic llegó por primera vez a España después de decenas de rondas exitosas en Latinoamérica.

Las cañas fueron la excusa para reunir a periodistas de los medios y proyectos con periodismo de datos más importantes del país y conocer sus mejores trabajos.

Las cañas del Café de Ruiz fueron patrocinadas por El Faro y SocialTic, quienes representaron a Latinoamérica durante esa noche.

#DatosYcañas lleno de compañeros de medios y proyectos para hablar de periodismo de datos, hacktivismo, transparencia pic.twitter.com/rTwkkwtE0Z

— Juan Luis Sánchez (@juanlusanchez) 11 de marzo de 2017

Estas fueron las presentaciones:

El Confidencial – Crear bases de datos propias

Daniele Grasso, jefe de la unidad de datos, utilizó como ejemplo El Prometómetro, el trabajo sobre feminicidios y el comparador de tallas de ropa  para explicar como en su medio crean temas a partir de bases de datos hechas desde cero por el equipo.

.@danielegrasso contando como dejan libres las bases de datos con las que trabajan para que los demás las puedan consultar ? #DatosYCanas

— Clara Jiménez Cruz (@cjimenezcruz) 11 de marzo de 2017

Eldiario.es – Los papeles de la Castellana

Juan Luis Sánchez, subdirector, y Raúl Sánchez, periodista de datos, presentaron las investigaciones sobre amnistía fiscal realizadas a partir de una filtración en el buzón seguro Filtrala.

Con #DatosyCañas aprendiendo de periodismo de datos con @eldiarioes en @cafederuiz #Madrid pic.twitter.com/kOwIXmzMyU

— Lidia García (@liligargar) 11 de marzo de 2017

Datadista

Ana Tudela y Antonio Delgado, fundadores del proyecto, presentaron el trabajo que empezó hace algunos meses en el nuevo portal. Sus trabajos pueden ser a corto, mediano y largo plazo, con una sección de investigaciones basadas en datos abiertos.

.@danielegrasso @elconfidencial @juanlusanchez @raulsanchezglez @eldiarioes Turno en #DatosYCañas para @latule y @adelgado con su proyecto @datadista pic.twitter.com/udWodQ2y5e

— Stéphane M. Grueso (@fanetin) 11 de marzo de 2017

El Mundo – Football Leaks

Paula Delgado, periodista de El Mundo Data, presentó las lecciones que obtuvo después de la investigación transnacional que reveló, por ejemplo, algunos documentos fiscales del futbolista Cristiano Ronaldo.

Lecciones de #footballeaks en #DatosYCanas pic.twitter.com/clP1XXmLm6

— daniele grasso (@danielegrasso) 11 de marzo de 2017

El Faro

José Luis Sanz, director de El Faro, que patrocinó este evento también presentó los proyectos con datos realizados por el medio salvadoreño. Uno de los proyectos que más llamó la atención fue El Retrato de la Desigualdad  que consistió en un levantamiento de datos autónomo para mostrar la movilización de 24 jóvenes en San Salvador.

#DatosYCanas aquí @jlsanz presentando retrato de la desigualdad. Proyecto basado en levantamiento de datos autónomo pic.twitter.com/FmmYtkXTKg

— Metz (@mexflow) 11 de marzo de 2017

Los aires del cáncer – Máster de periodismo de investigación, datos y visualización de El Mundo

Manuel Varela, ex estudiante del máster, presentó la investigación que realizó como trabajo final del curso acerca de cómo el cáncer de pulmón aumenta en las zonas industriales con mayor contaminación en el aire.

En #DatosYCanas @manuel_varfar cuenta su proyecto sobre el cáncer, a partir de datos del INE. Lo podéis leer aquí: https://t.co/GOCLotILnU pic.twitter.com/GjFYjgHF8A

— daniele grasso (@danielegrasso) 11 de marzo de 2017

Maldito Bulo

(https://twitter.com/malditobulo?lang=en)

Clara Jiménez y Julio Montes, fundadores también de Maldita Hemeroteca, presentaron cómo identificar “fake news”, las razones por las que se crean y cómo medir la cantidad de mentiras de un medio de comunicación.

#DatosYCanas presentando @malditobulo (bulo =mentira) cómo medir las mentiras de un medio #respect pic.twitter.com/TDEZXOplha

— Metz (@mexflow) 11 de marzo de 2017

El País – The New Arrivals

http://elpais.com/agr/la_odisea_de_los_nuevos_europeos/a

Guimar del Ser, periodista de El País, presentó el trabajo hecho en conjunto con The Guardian y Der Spiguel que usa la historia de un equipo de fútbol integrado por refugiados en Jerez de la Frontera, España para plantear un escenario general con datos sobre la situación de los refugiados en Europa

@elpais_espana trabaja innovando en inmigración y datos en #DatosYCanas @cafederuiz pic.twitter.com/yagvG6wlFv

— Lidia García (@liligargar) 11 de marzo de 2017

Populate Tools – portal de peticiones de información

Martín González, de la empresa Populate Tools, presentó el portal de código abierto para realizar peticiones de información a el gobierno español, aunque puede adaptarse a cualquier país.

#datosycanas el equipo de @PopulateTools presentando peticiones abiertas. Una caña a su salud sin duda pic.twitter.com/qv4nWwoDmC

— Metz (@mexflow) 11 de marzo de 2017

Es por eso que los que hacemos mapas en países latinoamericanos tenemos una misión un poco más complicada, debemos conseguir la información cartográfica y unirla con nuestras bases de datos.

A continuación describiremos el proceso para unir el archivo con la información cartográfica y una base de datos en Excel.

El archivo con los polígonos de los municipios de Guatemala en formato Shape (.shp) lo obtuve de la página web de la Secretaría de Planificación de la Presidencia, si necesitas un mapa de tu país puedes descargarlo en este enlace.

Sube el archivo .zip que contiene el archivo .shp a Carto para empezar a usarlo.

Como podrás ver en la columna quinta columna “código” están los códigos asignados por el gobierno de Guatemala a cada municipio.
Estos son códigos estandarizados que debe tener el Instituto Nacional de Estadística de tu país. Estos son los códigos estandarizados de los 340 municipios de Guatemala.

En el caso de Guatemala utilizamos los códigos porque normalmente ninguna base de datos de información gubernamental tiene los mismos nombres para todos los municipios, como en el caso del archivo .shp y la base de datos.
Ahora debes abrir la base de datos que quieres visualizar en el mapa. En mi caso usaré una que tiene información sobre las escuelas preprimaria del país.

Para agregar los códigos estandarizados a la base de datos agregaremos una columna y usaremos la fórmula BUSCARV para localizar los códigos en el archivo anterior.

Ya con los códigos en todos los municipios deberás subir el archivo a Carto.

Ahora debes dar click en “edit” y a “Merge with dataset”

Debes elegir la opción “Column join” para unir los dos archivos

Y seleccionar en la segunda columna el archivo “municipios_gtm” que fue el que subiste del archivo .shp.

Debes seleccionar que utilice la geometría del archivo “municipios_gtm” que es el que tiene la información cartográfica.

Y ahora viene la magia. Debes hacer click en “Merge Datasets”. Así quedan las dos tablas unidas.

Ahora debes hacer click en “Map view”. Todos los polígonos de los municipios estarán marcados.

Luego ya deberás personalizar tu mapa como quieras utilizando los datos de tu base de datos.

Este fue mi resultado:

Para poder hacer esa afirmación hice una prueba con las relaciones de los personajes de Narcos, la serie de Netflix, que narra la investigación que llevó a la captura del narcotraficante Pablo Escobar.

Este mapa fue realizado en un poco menos de una hora, recolectando toda la información e insertándola en Onodo. Ahora les explicaré porqué es tan fácil de usar:

• No necesitas ser un experto en Excel, ni siquiera abrirlo. Onodo permite insertar uno a uno los nodos (cada una de las personas, instituciones, etc… que necesitamos poner en el mapa) y también permite personalizar una a una las relaciones de cada nodo dentro de la misma aplicación.

• Es intuitivo, no es necesario leer el manual para usar sus funciones básicas. Ni siquiera existe un manual, si quieres algo parecido puedes ver su demostración en este enlace.

Ahora te explicaré cómo hice este mapa de relaciones en menos de una hora:

• Recolecté los datos de los personajes en IMBd y Wikipedia.
• Inserté los datos de cada personaje como un nodo. Por ejemplo: Pablo Escobar era el líder del Cartel de Medellín. Entonces usé el botón “Añadir nodo” y puse el nombre y la imagen que busqué en Google. Añadí otro nodo para el Cartel de Medellín. Ambos se reflejaron al instante en la visualización.

• Los nodos no están completos sin una relación. Entonces cambié a la pestaña de “relaciones” y hice click en el botón “añadir relación” para indicar que el nodo “Pablo Escobar” es el líder  del “Cartel de Medellín”. Esto también se reflejó al instante.

• Así se muestra la visualización al hacer click sobre el nodo de “Pablo Escobar”.

• Luego agregue la información del resto de personajes principales y secundarios de la serie, de la misma manera que hice con Pablo Escobar.  Todas se fueron mostrando dentro de la visualización.

• Compartir la visualización dentro de cualquier otro sitio es igual de sencillo. Pulsas en el botón “Comparte” donde harás pública la visualización y después te creará un iframe y un enlace fijo.

Si aún no te convence esta sencilla explicación puedes entrar a este enlace para ver otros mapas de relaciones que han realizado otros usuarios.  Y si la explicación te convenció, como usarlo me convenció a mí, puedes entrar a este enlace para crear tu cuenta y empezar a experimentar.

SandDance es una aplicación web desarrollada por el laboratorio de investigación de Microsoft. Hasta ahora no cobra por su descarga ni por su uso, fue lanzada hace tres meses y funciona con la misma lógica que una tabla dinámica de Excel y permite hacer análisis visual de la información.

Cada uno de los registros en la base de datos se muestra como un pequeño recuadro en el gráfico.

Aunque es una herramienta de visualización de datos está pensada para analistas que prefieren analizar los datos con visualizaciones y no para presentar la información.

Estas son las opciones que da la aplicación:

Tipos de gráfico: barras, cuadrícula, dispersión, densidad, pilas y recuadros.

• Formatos: la aplicación solo acepta archivos en formato CSV, TXT y JSON.

• Tipos de análisis: la aplicación permite crear clasificaciones, organizar por colores, y ordenar según alguna de las clasificaciones del documento.

Personalización: también permite, precisamente, personalizar los colores, el tamaño de los recuadros de registro, la opacidad y las líneas de cuadrícula dentro del gráfico.

Con la selección de clasificaciones permite un análisis más detallado creando tableros de información.

Ya que la aplicación no tiene ninguna opción para compartir los análisis nos comunicamos con el soporte técnico que nos compartió un código html que permite insertar la aplicación en cualquier plataforma web.

<!DOCTYPE html>

<html xmlns=»http://www.w3.org/1999/xhtml«>

<head>

<meta http-equiv=»X-UA-Compatible» content=»IE=Edge» />

<title>SandDance Embedding Test</title>

</head>

<body>

<h1>

This demo shows how to embed SandDance with a preloaded dataset into a custom webpage without programming.

</h1>

<div style=»margin: 20px;»>

<iframe src=»https://sanddance.azurewebsites.net/beachPartyApp/BeachPartyApp.html?data=http://samplecsvs.s3.amazonaws.com/SalesJan2009.csv»

style=»width: 100%; height: 700px»></iframe>

</div>

</body>

</html>

Lo único que hay que modificar es el de “src” por el enlace que estamos utilizando para el análisis.

Aunque este tampoco muestra los resultados a los que llegamos, sino permite que el usuario pueda hacer su propio análisis.

Después de probar varias herramientas para convertir de PDF a OCR como Tabula o CometDocs, la mayoría de ellas tenían dificultades convirtiendo documentos con imágenes o sin celdas definidas.

ABBYY FineReader OCR tiene otro tipo de complicación: la licencia cuesta entre 99 y 169 dólares. Pero según el trabajo que vayas a realizar, podría ser útil comprarla.

Si decides utilizarla, en este tutorial te mostramos cómo.

Con la herramienta se puede extraer el texto de archivos PDF a texto plano, html y a Excel.

En este caso lo utilizaremos para convertir el archivo a Excel.

El proceso es muy sencillo:

1.     Seleccionar el archivo PDF
2.     El programa empezará a reconocer las imágenes dentro del archivo PDF

3.     Con el reconocimiento el programa identificará las filas y columnas de la tabla y también el texto y las imágenes en la misma tabla

4.     El programa permite personalizar el texto que finalmente se va a extraer, es por eso que eliminaremos las imágenes y los encabezados que son útiles en Excel.

5.     Al dar click sobre el botón ‘exportar’ se puede personalizar el formato del archivo que se obtendrá, la calidad y detalles, como si dejan fuera o dentro el contenido de las tablas.

Para obtener un mejor resultado en Excel seleccionaremos ignorar el contenido fuera de las tablas, no conservar las imágenes y que reconozca automáticamente los valores numéricos.

6.     El documento en Excel está listo para ser modificado y analizado en menos de 3 minutos.

Ahora deberás decidir si la inversión en la licencia del ABBYY Finereader OCR es necesaria para realizar tu trabajo. Para conocer otras herramientas puedes ir a esta publicación de Escuela de Datos (https://es.schoolofdata.org/obteniendo-datos-de-los-pdfs/)