El proyecto de Open Data Perú lanza su primera convocatoría de becarios, la cual busca proporcionar apoyo a largo plazo para fortalecer la alfabetización de datos entre la sociedad civil, organizaciones y periodistas de todo el Perú.
El programa de becarios seleccionara a 3 representantes de distintas regiones en Perú, los cuales tendran la labor de trabajar como entrenadores de datos de la mano de ODPE durante 3 meses. Los becarios buscarán trabajar en estrecha colaboración con organizaciones y buscarán formar a una comunidad diversa de gente apasionada, analistas de datos, desarrolladores, periodistas de datos .
Los seleccionados recibiran soporte en línea, materiales y la orientación de una comunidad global para ayudarles a mejorar sus habilidades como formadores de datos.
Este año, el programa se llevará a cabo desde Agosto del 2015 a Octubre del 2015, y dedicarán 10 días al mes de su tiempo a trabajar con comunidades locales, organizaciones y/o redacciones, en donde realizarán cursos de capacitación, apoyaran en proyectos sociales con el uso de datos y prepararán materiales para los talleres o artículos acerca de sus experiencias.
La postulación estará abierta hasta el 30 de julio, luego de esa fecha se comenzara la evaluación y el 10 de agosto se anunciaran a los seleccionados.
Para más información sobre el programa pueden escribir a [email protected] o a través de nuestra cuenta de twitter @od_pe.
*Este programa fue inspirado por el programa de fellows que implemento Escuela de Datos desde el año pasado, en la cual fueron seleccionados 12 participantes de todo el mundo. Este año ya estan en su segunda convocatoría con 7 participantes.
Este post va dirigido especialmente a desarrolladores, diseñadores y/o cualquier curioso que conozca o quiera incursionar en el mundo de la programación. Hablaremos principalmente de D3.js, libreria basada en Javascript para la creación de gráficos y mapas interactivos.
¿Qué es D3.js?
D3.js (Data-Driven Documents) o solamente D3, es una librería de Javascript utilizada principalmente para crear gráficos y visualizaciones interactivas en un sitio web. Esta herramienta de visualización de datos hace uso principalmente de: gráficos vectoriales (SVG), Javascript, HTML5 y CSS3. D3.js permite usar grandes cantidades de datos en distintos formatos: JSON, CSV, GeoJSON, etc. Además de todo esto, D3.js nos permite poder crear mapas vectoriales con los cuales podemos crear grandes visualizaciones. Nos enfocaremos principalmente en la creación de mapas. Acá les dejo un ejemplo: http://www.carbonmap.org, es un mapa interactivo que usa D3.js y fue creado por el equipo de Kiln para el Apps for climate organizado por el World Bank. En este mapa Kiln uso Cartogram y Choropleth map para darle la interacción y distribución necesaria de los datos. 
Ahora, como comenzamos a hacer mapas con D3.js, en el siguiente tutorial de Mike Bostock, creador de D3.js explica paso a paso como poder crear los mapas (No lo escribo pues el maestro ya lo hizo). Eso si, es un poco complicado para el que aun no ha visto la librería, pero ¿existe alguna manera de agilizar y hacer más sencillo este trabajo?. Si, la hay.
Mapstarter
Mapstarter es una herramienta online que permite personalizar y crear mapas vectoriales para la web (obviamente con D3.js). Esta herramienta permite que cualquier diseñador, reporteros o desarrolladores puedan crear sus propios mapas vectoriales. Para usar esta herramienta es necesario tener datos geograficos en formatos GeoJSON, TopoJSON o ShapeFiles. Si no los tienes puedes usar GeoCommons o Diva-Gis. Lo primero es subir los datos geográficos. Luego de eso, tendremos la siguiente vista: 
Nos muestra la vista previa de los datos subidos y podremos personalizar el tamaño de nuestro mapa, y la proyección cartográfica que es la representación gráfica del mapa entre la superficie curva y plana de la tierra. Lo siguiente sera seleccionar el color para nuestro mapa. 
Acá podremos seleccionar los colores base para nuestro mapa, existen dos opciones: Simple colors, nos permite seleccionar un color base para los países y bordes; y Choropleth, que hace una distribución de una gama de colores según alguna variación numérica (población por país, indices, emisiones de carbono, etc), convirtiéndolo así en un mapa temático. Lo siguiente sera configurar el comportamiento del mapa. 
Con los comportamiento podremos definir la funcionalidad principal de nuestro mapa. Mapstarer nos pone 3 opciones para poder seleccionar: Freeform, que permite poder usar el scroll del mouse, doble click y dragear sobre el mapa. Es una funcionalidad muy útil si queremos que nuestros usuarios naveguen sobre nuestro mapa. Click on feature to zoom, activa la funcionalidad de hacer click sobre algún polígono (país) y nos hará un zoom. Y finalmente tenemos la opción de no agregar ninguna funcionalidad: None. La siguiente opción nos permitira darle un vistazo a los datos y revisar que estén bien, modificarlos y/o removerlos. 
Nunca esta de más darle una última revisada a los datos. Y finalmente podremos descargar nuestro proyecto de Mapstarer. 
En esta sección podremos descargar nuestro proyecto en vectores (SVG), imagen (PNG) o el código fuente de la aplicación (HTML, GeoJSON o TopoJSON) que sería la forma de poder agregarle más funcionalidades y agregar datos.
Hands on.
En ODPE – Open Data Perú, estuvimos haciendo un ejercicio con mapas de D3.js para mostrar las emergencias climáticas en la última década. Tenemos disponible parte del código fuente de la aplicación (aún esta en trabajo), pero la dejamos en nuestro repositorio por si alguien quiere ayudar a contribuir y de paso practicar. Hemos incluido las siguiente funcionalidades en código: Consumo de datos desde CSV, Chroropleth, bubbles. 
Espero que este post sea de su total interés, si alguno tiene en mente poder hacer prototipos de mapa más rápidos y más sencillo les recomiendo poder usar otra herramienta como CartoDB, Mapbox, Datawrapper, etc. ENJOY!
Apostar por el uso o la creación de software libre de código fuente abierto en nuestras aplicaciones cívicas no sólo nos dará la libertad que queremos (sí, el software libre nos hace libres), sino que da oportunidad a muchas otras más personas de poder replicar el trabajo o contribuir en la mejora de esta. Entonces, ¿por qué hacerlo?
Comencemos con la pregunta más básica: ¿Qué es el software libre?
Se le denomina así al software que permite que el usuario pueda hacer uso de manera libre con el fin que él crea conveniente. Para que así sea, debe de cumplir con 4 libertades:
Libertad 0: La libertad de usar el programa, con cualquier propósito.
Las otras tres libertades se refieren al software libre cuyo código fuente es abierto (open source).
Libertad 1: La libertad de estudiar cómo funciona el programa y modificarlo, adaptándolo a tus necesidades.
Libertad 2: La libertad de distribuir copias del programa para ayudar a tu prójimo.
Libertad 3: La libertad de mejorar el programa y hacer públicas esas mejoras, de modo que toda la comunidad se beneficie.
Ahora sigamos con la siguiente pregunta: ¿Qué son las aplicaciones cívicas?.
Las aplicaciones cívicas son aquellas creadas para resolver o ayudar a reconocer problemas sociales (no a quejarnos de ellos). Crear una aplicación en la que el ciudadano se sienta identificado y empoderado, es una gran manera de promover una cultura cívica. para que los principales actores (nosotros) podamos ser parte del cambio.
¿Por qué aplicaciones cívicas haciendo uso de software libre? Porque nos da la libertad que necesitamos en Internet y así no tener problemas con las licencias en el futuro. Y ¿por qué código fuente abierto? Porque permite que uno o muchos ciudadanos repliquen la experiencia y/o les permita contribuir para mejorarlo. Una de las posibilidades es hacerlo con sistemas de versionado como git, svn o mercurial en sitios web como los populares githut o bitbucket.
Cuando hacemos software libre no solo estamos contribuyendo con una comunidad colaborativa y abierta, sino que apoyamos a generar una cultura libre.
Mi experiencia en época electoral
En ODPE (Open Data Perú) estamos impulsando la creación de aplicaciones cívicas y apertura de datos. Este fue uno de nuestros últimos ejercicios, propuesto por Giovanna Castañeda, coordinadora de ODPE. Se basó en una aplicación de La Nación Data de Argentina que mostraba la trayectoria política de los candidatos en sus elecciones legislativas del 2013. Esta aplicación tenía el código fuente público para repicarlo. Así fue como, partiendo de este, visualizamos la trayectoria política de los alcaldes y ex-alcaldes de Lima Metropolitana (Lima, Perú).
Una gran iniciativa en las que podemos colaborar es Poplus (http://poplus.org). Su objetivo es el «civic coding elaborando componentes para aplicaciones de uso cívico. Otra es Code for America (http://www.codeforamerica.org), una organización que promueve la construcción de software libre de código fuente abierto para mejorar los servicios públicos. Lo hacen a través de un programa donde involucran a hackers cívicos dentro del gobierno. Puedes escuchar más de su experiencia en el siguiente vídeo: https://www.youtube.com/watch?v=-aGPnzm_6Bc
Las posibilidades son limitadas solo por nosotros. No podemos cambiar el mundo, pero si contribuir para mejorarlo.
¿Cómo empezamos a trabajar?. Como toda aventura, tenemos que tener un punto de partida. Podemos comenzar con una o muchas preguntas.¿Qué sucede en mi país?, ¿En qué se gasta el presupuesto público?, ¿Cuántos partidos ganó mi selección de fútbol? Muchas más.
Hacerse algunas preguntas es una buena manera de iniciar una búsqueda de datos. Te ayuda a concentrarte y encontrar argumentos que te servirán para resolver tus dudas.
De cualquier manera, si tienes una pregunta en mente o no, siempre debes de estar atento a los patrones inesperados que encuentres en las bases de datos.
Cualquier dato que no esperabas, o aquellos que consideres sorprendentes, te ayudarán a tener mejores resultados.
Pensando de manera tabular
Los datos recolectados y estructurados son muchos más útiles, pero no siempre están disponibles en formatos de tablas (CSV, TSV,Excel, Libre Office, etc). La recolección de datos se puede hacer de diferentes maneras: desde analizar informes, reportes, balances hasta usar scripts de programación para scrappear, usar drones, encuestas, y muchas formas más.
Crear una tabla para ordenarlos (los datos) es muy eficiente.
La ruta del data pipeline
En resumen, el data pipeline es la guía que necesitamos para trabajar con datos. Para tener un trabajo más ordenado y más simple (no todo es fácil), debemos seguir estos pasos.
Adquisición / Fuentes de datos.
En esta primera etapa nos encargamos de buscar nuestra fuente de datos. Ya sean portales de datos públicos, reportes, balances, encuestas, ¿drones? O podemos pedirle a nuestro hacker más cercano que nos ayude a extraer un poco de información.
La limpieza y la transformación de datos.
Muchas veces necesitamos eliminar registros inválidos y traducir algunas columnas a un conjunto legible de valores de un set de datos. También vamos a querer combinar conjuntos de datos de diferentes tablas en una sola, eliminar los valores y más. Conforme adquirimos datos, nos daremos cuenta que estos tienen muchas inconsistencias. En esta parte necesitan tener mucha paciencia, les tomara más tiempo que las otras etapas.
El análisis de los datos.
Esta etapa nos será de utilidad pues responderemos nuestras preguntas iniciales. Acá nos encargamos de corroborar los datos obtenidos, validarlos, cruzar información. Aquí es donde encontraremos nuestra historia.
Presentación y/o visualización de datos.
Por fin veremos el resultado final. En esta etapa nos encargaremos de volver visible nuestros datos. Acá decidiremos cómo los presentaremos, dependiendo de cual sea nuestro objetivo.
Esta guía básica nos permitirá tener una idea de cómo poder iniciar nuestra aventura con datos y no perdernos en el intento. Recuerden que muchas veces las fuentes de datos suelen desaparecer por raras razones así que les sugiero documentar cada paso que realicen. También es importante de corroborar sus fuentes y los datos obtenidos.
El periodismo de datos y los datos abiertos se han convertido en puntos de interés para los ciudadanos en Perú. Desde que los medios digitales demostraron que a través de los datos se pueden contar buenas historias y hacer investigación, han incrementando las consultas sobre cómo podemos hacerlo, qué tan difícil es, qué necesito saber, entre otras dudas.
Con el objetivo de resolver estas interrogantes y mostrar que no es tan difícil como parece, organicé “Conectando iniciativas con Datos”, un taller de tres días para que los participantes tengan la oportunidad de conocer, desde lo más básico, cuál es el proceso de trabajo con datos conocido como data pipeline, cuáles son las herramientas disponibles para cada proceso y cómo aplicarlas en ejercicios.
Además, no dejamos de lado otra parte importante: conocer la experiencia de especialistas en temas de UX (experiencia de usuario) y el marco legal de los Datos Abiertos en Perú. Dos temas importantes que, más allá de la práctica, son fundamentales al emprender algún proyecto basado en datos.
El taller fue gracias a la ONG Proética, capítulo peruano de Transparency International; Escuela de Datos y la comunidad Open Data Perú.
Periodistas, estudiantes de comunicaciones, ingenieros y otros profesionales fueron los asistentes. Estos son cuatro momentos importantes de “Conectando iniciativas con Datos”:
1. ¿Leyes? Todo lo que tenemos que saber sobre la situación de los datos en Perú
Erick Iriarte, abogado experto en derecho informático.
Erick Iriarte del Estudio Iriarte y Asociados explicó sobre la ley de acceso a la información y las posibilidades que tenemos de solicitar información que implique un fondo público a las distintas entidades del gobierno. Si bien todos los datos no estan públicos, tenemos la posibilidad de hacerlos si los obtenemos como ciudadanos.
2. La usabilidad: ¿qué tan importante es que el usuario entienda tu web?
César Soplín, jefe de desarrollo del portal Ojo Público.
César Soplín fue claro y presentó la importancia de la usabilidad en las aplicaciones web con datos. El experto en arquitectura de información nos dejó una gran reflexión: «¿de verdad pensamos en el usuario cuando construimos nuestras aplicaciones?»
3. El data pipeline: la ruta para trabajar con datos.
Trabajar con datos no es tan complicado, pero para hacerlo más sencillo tenemos que tener una guía para seguir un proceso adecuado. En el taller describimos los cuatro pasos importantes en el trabajo con datos: adquisición y fuentes de datos; limpieza y refinamiento de datos; análisis de datos; y presentación y visualización de datos. En dos palabras: el data pipeline.
4. Hora de trabajar: ¡A poner todo en práctica!
Luego de explicar los cuatro pasos del trabajo con datos decidimos que era momento de ponerlo en práctica y qué mejor ejemplo que trabajar con un tema importante en Perú: las elecciones regionales y municipales. Nos propusimos seguir los pasos y finalmente logramos visualizar (usando D3JS) a los distintos candidatos de Lima Metropolitana agrupados por distritos, fue un muy buen paso para comenzar y animarse a seguir trabajando.
Por todo lo que abarca el trabajo con datos, y por lo que cada vez más se va extendiendo, nunca se terminará de aprender. Eso sí, siempre es bueno empezar con algo y este ha sido un paso importante para muchos que desconocían el tema. En los tres días salieron muchas iniciativas interesantes. Esperemos que este sea el principio de algo muy bueno para la comunidad opendatera en Perú.
¿Qué tanto se puede hacer con los datos y la información pública? ¿Cómo lograr que los ciudadanos se interesen en fiscalizar a sus propios gobiernos con estos? Y por último: ¿qué tan difícil puede ser conseguir la colaboración de expertos ―y no tan expertos― para que los datos lleguen y sean encontrados por todos?
Estas preguntas, probablemente, estuvieron en la cabeza de los periodistas y desarrolladores en Perú, más aún teniendo programada una elección regional y municipal. Este año, como nunca antes, el uso de datos públicos ha formado parte de la cobertura de los medios a un mes de los comicios.
Bajo un escenario donde sobreabunda la información, las dos grandes iniciativas que presentaré a continuación han nacido bajo la alianza entre hackers cívicos y periodistas: proyectos que solo han trabajado con y para generar datos. Esta colaboración ha ayudado a revelar información de interés público que no hubiera podido ser difundida (y mucho menos conseguida) en Perú sin conocimientos informáticos.
Estas son dos aplicaciones hechas con datos en tiempos de elecciones:
Verita
Verita nace con la idea de fiscalizar a todos los candidatos que se han presentado para estos comicios. Se trata de un conjunto de scripts que permiten scrapear los datos de las hojas de vida de los candidatos que se encuentran publicadas en el sitio web del Jurado Nacional de Elecciones (JNE Perú). Ayudó a los ciudadanos a indagar entre los datos de los más de 100 mil candidatos presentados. Detectó quiénes declararon tener sentencias penales y civiles, quiénes fueron condenados por terrorismo y hasta por violación.
La iniciativa de esta aplicación fue de Aniversario Perú (seudónimo del desarrollador) . Los periodistas del portal Útero.pe, en alianza con la Asociación Civil Transparencia, se encargaron del análisis de todos los datos.
Cuentas Juradas
Cuentas Juradas es la primera aplicación periodística que muestra la evolución de los patrimonios de los alcaldes y exalcaldes de los distritos de Lima. Esta es una iniciativa de OjoPúblico, portal de periodismo de investigación especializado en temas de corrupción, narcotráfico, medio ambiente, derechos humanos y salud.
La creación de esta aplicación consistió en el análisis de las declaraciones juradas de bienes e ingresos que anualmente las autoridades entregan a la Contraloría General de la República del Perú. Cuentas Juradas busca hacer más transparentes las elecciones, poniendo esta información a disposición de todos los ciudadanos y permitiendo ser los fiscales de sus propias autoridades. Pueden visitar la aplicación en el sitio web de OjoPúblico – http://ojo-publico.com.
Desde este espacio, me alegra hacer este recuento acerca de las elecciones en Perú y cómo el uso de datos públicos está ayudando a generar mayor transparencia. Definitivamente las elecciones no volverán a ser las mismas.
Eso sí, mientras más documentos y bases de datos sean liberadas por el Estados, la prensa, los ciudadanos, activistas y hackers, tendrán mayores posibilidades de encontrar datos relevantes.