Marcos Ge - el junio 1, 2016 en Uncategorized
Marcos Ge - el junio 1, 2016 en DAL, Experiencias, Fuentes de datos, Uncategorized
“Esta idea de que con Felipe Calderón [presidente mexicano de 2006 a 2012] estalló la violencia asociada al narcotráfico… yo quería que los datos vinculados me lo explicaran, y fue cuando encontré la explosión de células delictivas y cómo están reconocidas por las mismas autoridades que generaron esa violencia”,
dice Tania Montalvo, reportera que desde 2014 investiga el comportamiento de cuatro décadas de narcotráfico mexicano a través de bases de datos, trabajo conocido como NarcoData.
“Más allá de las ideas que tenemos, ¿qué argumentos realmente sostenibles tenemos para saber si esa idea es verdad o no? Para eso sirven realmente los datos en el periodismo”.
Montalvo, de 31 años, se ha hecho de una visión clara del periodismo de datos al cuantificar el poder y sus abusos en investigaciones sobre violaciones de la ley en detrimento del ambiente en la Ciudad de México, corrupción e incumplimiento de promesas al verificar el pago de nóminas a maestros (algunos de los cuales cobraban desde ultratumba) y, por supuesto, NarcoData, entre otras más.
¿Cómo han guiado los datos sus investigaciones periodísticas?
NarcoData
Celda por celda, columna por columna, Montalvo construyó una imagen de datos para lo que llama “una sombra sin rostro”, la del crimen organizado. Entre otras conclusiones, cuantificó la explosión de la violencia: al finalizar el sexenio anterior a Calderón eran tres bandas criminales armadas que se tenían monitoreadas, tras seis años de una estrategia militarizada en su contra, se multiplicaron hasta sumar 52.
¿Cómo guiaron los datos a Montalvo y al equipo de Animal Político y Poderopedia de un documento único que obtuvieron en octubre de 2014, donde meramente se enlistaban los grupos delictivos activos ese año, territorio y cártel al que obedecían, hacia el análisis detallado de prácticamente toda la historia del narcotráfico en México?
“Lo que yo quería era tener toda la información en un mismo lugar, porque la información sobre el narco es tanta que no sabíamos dónde estaba la nota”.
La primera base que construyó fue sencillamente esa: qué organizaciones criminales había, su presencia en el territorio mexicano y su lealtad a cárteles determinados.
“Tuve que ir hacia atrás para mostrar cómo esas organizaciones antes no existían, porque los datos me fueron hablando y me hicieron preguntar ¿por qué ahora son 9 cárteles, cómo llegamos a ellos, por qué de pronto son más violentos, por qué unos son más grandes que otros? y todo eso lo pude hacer gracias a la primera base de datos”.
A partir de esa base “madre”, a golpe de teclazo en Excel, Montalvo construyó una nueva, que califica como una investigación de fuentes híbridas.
“No es un trabajo cuantitativo 100 por ciento. A la información en papel de la Procuraduría General de la República (PGR) agregué información de análisis que encontré en documentos académicos sobre estudio de crimen organizado, más información de entrevistas y comunicados y boletines de la misma PGR a medios.”
Después interrogó a su nueva base.
“¿Qué era lo que me estaba mostrando? Hay que tener la mente muy abierta a hacer cualquier pregunta a los datos, hasta la más complicada, no obviar cosas, y tampoco creer que no vas a encontrar tus respuestas en la base, porque realmente los datos hablan, y hablan muchísimo”.
La respuesta entonces fue obvia. Los datos mostraban la pulverización de los grupos criminales en mayor número aparejada al incremento de la violencia con los años.
“Era la evolución de las bandas del crimen organizado, me estaba mostrando quiénes son los dominantes, que hubo una separación entre ellos. Eso me llamó a responderme con los mismo datos: ‘hay conflictos muy específicos entre los grandes cárteles’.”
“Es necesario entender qué es lo que tienes: si tienes años, cuáles son tus campos… Con base en ello ves hacia dónde te pueden llevar los datos. Siempre respeta a tu base en el sentido de tenerla limpia, conocerla, para que te hable. Si no está limpia, cuando te ‘escupa’ una respuesta, no la vas a ver”.
NarcoData ha alcanzado siete entregas, pero las bases construidas por Tania aún no agotan su potencial. Este trabajo, no obstante, no era el primero en el que Montalvo construyera y analizara una base de datos.
CC By CEDIM News
En un proceso de supuesta renovación de estructuras mexicanas como la energética, la fiscal y la educativa, una de las promesas de avance en esta última fue la depuración de la nómina de profesores que reciben pago del erario público.
No más fallecidos que cobran sueldo por enseñar, maestros que renunciaron y cuyos pagos no obstante siguen siendo religiosamente cobrados o maestros que jamás dieron una sola clase frente a grupo. La investigación que Tania Montalvo publicó en 2015, sobre la nómina nacional de maestros, descubrió que la promesa era, al menos hasta entonces, falsa.
Lo probó a través de la construcción y cruce del recién hecho censo magisterial nacional contra la nómina pagada por la Secretaría de Hacienda y Crédito Público (SHCP).
“La idea surgió de una base que nos entregó Gobierno de Oaxaca después de una solicitud de transparencia, con 40 mil celdas: cada maestro, cada escuela. Pudimos ver maestros hasta con 30 plazas, solamente en Oaxaca”.
Esa base se escaneó desde las infames fotocopias en papel que le fueron entregadas, desde donde escrapeó con algunas herramientas como Cometdocs, Tábula e Import.io.
Para ampliarla a nivel nacional, Tania recurrió al Instituto Mexicano para la Competitividad, con quienes obtuvo ayuda para rastrear los datos nacionales relacionados con la nómina magisterial a través de la plataforma de datos abiertos del gobierno federal, por entonces una novedad.
“Creo que de alguna forma ese fue mi primer acercamiento con los Datos Abiertos de gobierno, yo estaba escéptica, pero base con solicitud por cada estado, hubiésemos tardado muchísimo. Pudimos hacerlo a nivel nacional, pudimos comparar cómo la nómina antes y después de la reforma educativa no había cambiado, sino en un mal sentido, les estaban pagando más a los maestros pese a que se suponía que ya les habían depurado, y lo pudimos ver trimestre a trimestre”.
La nómina, pagada por SHCP fue contrastada contra la base de datos de la Secretaría de Educación Pública (SEP), que recién había efectuado un censo donde se enlistaban qué maestros que daban clase frente a grupo, quiénes sólo realizaban labores sindicales y dejaba fuera “aviadores” y otros defraudadores.
“SHCP tiene que preguntar a SEP si todos esos maestros están frente a grupo y la SEP tuvo que haber verificado que estaban frente a grupo o si no murieron, porque había muchos muertos que seguían cobrando sueldos”.
Este año, la SEP reconoce por primera vez que dejó de pagar 5 mil plazas porque no estaban frente al grupo. “Eso debió haber ocurrido antes”, acota Montalvo.
En 2014 Montalvo desarrolló una investigación sobre las gasolineras que en la Ciudad de México violaban la ley al ser un excedente a lo permitido. En este trabajo el mayor reto fue la dispersión y falta de granularidad de algunos de los datos: Montalvo tenía por un lado información en porcentajes del excedente de gasolineras y por otra parte listados de todas las razones sociales de gasolineras en la Ciudad, pero no tenía las ubicaciones de las gasolineras que violaban la ley.
“Yo sabía que había más gasolineras y que se estaba violando el reglamento, Pemex tenía muchas bases de datos, pero tenía los nombres de gasolineras al azar, no me decía dónde estaban, pero nosotros obtuvimos otra base de datos por delegación.
“Pudimos entonces cruzar las bases de datos para saber en dónde estaban, y cruzamos con una base más, de la Procuraduría Federal del Consumidor (Profeco), para saber cuáles estaban sancionadas, y cuáles estaban violando la ley al abrir”.
Con la ayuda de las organizaciones Escuela de Datos y Social Tic, y en particular de Phi Requiem, Fellow de Escuela de Datos 2014, se logró la sistematización de dicha información.
“De alguna forma fue una base chiquita, pero el caso es que toda la denuncia ya estaba totalmente construida, yo tenía reporteado con los gasolineros que se estaba violando el reglamento, pero no tenía datos para hacerlo mucho más visible.
“Nos permitió construir este mapita donde ya fue lo único que necesitábamos para cerrar y así le mostramos solidez a nuestro argumento de que se estaba violando la ley”.
De cierto modo, la trayectoria de Tania Montalvo le permitió desarrollar una idea que inició en una clase de periodismo asistido por computadora (PAC) en alguna de sus clases de periodismo en el Tec de Monterrey.
“Lo que me llevé de esa materia es entender la importancia de usar datos, de que la información en cualquier nota periodística fuera precisa, más allá de una declaración”.
Justificar (o no) con datos las declaraciones de personajes públicos o de opiniones públicas ampliamente compartidas entre ciudadanos, ha sido el hilo conductor desde sus primeras investigaciones en CNN Expansión sobre la ubicación de víctimas de violencia hasta NarcoData.
“Todo tipo de periodismo debe tener datos, y los hay en todas partes. Entiendo el punto de que se le llame periodismo de datos pero al final es periodismo.
“Si es periodismo: narrativo, de explicación, de lo que sea, es súper importante saber usar los datos y hacerlo bien. En el periodismo de datos puedes usarlos en masa, una cosa mucho más grande, pero para llegar a eso tiene que empezar utilizando bien porcentajes, tasas, sabiendo cómo se hace una diferencia porcentual… cosas que son elementales para que sigas el camino de los datos y ya puedas utilizar una base mucho más grande”.
Otro punto que es necesario tener en mente, en opinión de Montalvo, es que la interdisciplinariedad no suple la obligación individual de aprender de otras disciplinas.
“El trabajo multidisciplinario es valiosísimo, pero al mismo tiempo es fundamental que entre todos comprendamos la labor del otro, aunque sea en la parte mínima. Yo no programo, pero creo que sí es necesario tener al menos ideas básicas porque un programador es valiosísismo y están dedicados. Difícilmente llegue a los niveles en que está nuestro programador, Gilberto León, pero yo debería saber que si quiero que Gilberto entienda mis ideas, yo debería entender las suyas a un nivel técnico”.
“Yosune, nuestra diseñadora, que sí sabe de programación, tuvo que aprender muchísimo de mi labor periodística, en términos de mi mirada como periodista para poder visualizarla y yo al mismo tiempo tuve que aprender de ella para poder comunicar lo que tenía. En ese sentido es muy importante conocer un poco de lo que hace que el otro”.
Marcos Ge - el abril 18, 2016 en Expediciones de Datos, Fuentes de datos, Noticias, Uncategorized
El 16 de abril un terremoto de alrededor de 7.8 grados golpeó la región costera en Ecuador.
La comunidad de Datos Abiertos del mundo y de América Latina se organiza para hacer su contribución con la construcción de un mapa base para labores de rescate, humanitarias y conocimiento para la población en general. Aún queda bastante por hacer.
Si no sabes cómo hacerlo, aprende en cinco minutos con este video de Juan Carlos Calderón en español. No es necesario localizarte en Ecuador, puedes mapear desde cualquier lugar del mundo.
El chat de Telegram donde se discute logística, así como todos los detalles del mapeo están en el documento wiki del Terremoto en Ecuador.
El mapa de Open Street Maps (OSM) se construye primordialmente con la conversión de imágenes satelitales a mapas editables abiertos a través de la herramienta Open Street Maps. A su vez, esta digitalización es convertida en una base de datos abiertos para uso público.
En el documento wiki se describe qué es la comunidad de voluntarios Open Street Maps y el equipo humanitario de OSM (HOT, por sus siglas en inglés), los canales IRC de soporte técnico para comunicarte con los equipos que lo coordinan y otros detalles como el hashtag #MappingEcuador para encontrar información relacionada en Twitter.
El administrador de tareas de OSM prioriza, divide y reparte las tareas pendientes y monitorea las concluidas. Un proyecto está casi completo pero hay más a los que resta mucho para terminar. Ahí puedes sumarte a este mapeo global.
El esfuerzo lo lidera Humberto Yances (HOT) junto con Daniel Orellana (Open Street Maps Ecuador), quien esta mañana lanzó este Hangout donde encontrarás un tutorial básico detallado para mapear desde donde estés. El segundo hangout, con tutorial para mapeo intermedio y edición offline está acá.
En cuanto a la ayuda en sitio, además de Open Street Maps, en el video se detalla cómo usar la plataforma https://mapa.desastre.ec/ que permite enviar y visualizar reportes de problemáticas originadas por el desastre, así como su ubicación geográfica.
Mapa Desastre permite a sus usuarios recibir alertas de acuerdo a la ubicación de su GPS. La información es pública y disponible también para los organismos de socorro.
Otra de las herramientas en sitio es Google Person Finder, repositorio donde puedes encontrar información de personas que buscas en Ecuador u ofrecer información de personas que encuentres.
Con Mapillary y Open Street Map Android Tracker puedes subir fotografías de las zonas de desastre.
Si tienes amigos angloparlantes, comparte con ellos este post en School of Data, donde puedes encontrar esta información en inglés.
Marcos Ge - el marzo 15, 2016 en Estadística, Experiencias, Fuentes de datos, Noticias, Uncategorized
Con la paciencia de un físico nuclear y el interés apasionado de un activista, Irving Morales, co fundador de Morlan, grafica una de potenciales decenas de tendencias en una base de datos.
En la redacción con la que está colaborando casi le piden que la envíe a impresión, “está lista” para publicarse, cuenta Irving en entrevista. Pero se niega, la gráfica es para él, para que detecte patrones anómalos y posibles puntos de atención en el comportamiento de los datos. La prisa, que domina la mayoría de las redacciones, es el mayor enemigo de un verdadero análisis de datos.
Un investigador, científico, periodista o incluso diseñador que grafique pensando ya en publicar comete uno de los mayores y más comunes errores en el análisis de datos. En eso insistió esta semana Marco Hernández, de La Nación Data Costa Rica durante su webinar de #DatosExtremos. La frecuencia con que la que este y otros errores ocurren puede deberse, como insiste su colega, la periodista Camila Salazar, a la falta de capacitación en análisis de datos en las universidades que forman periodistas.
Pero en un espejo de esta deficiencia en la ciencia, o al menos en la academia mexicana hiperespecializada en física, los científicos que analizan datos no tienen ni incentivos ni herramientas ni un camino hecho para poner sus análisis al servicio de organizaciones para la resolución de problemas sociales.
El doctor en física y consultor en análisis de datos Irving Morales confiesa, por ejempo, que comenzó su carrera de sesudos y clavados análisis de datos para finalmente publicarlos… en PDF.
Por eso Irving, en vista de que la academia científica no necesariamente está interesada en salir de su propio túnel de saber, decidió aliarse con Emmanuel Landa y Oliver Morales y hacer su propio camino de análisis científico y social de datos. Le llamaron Morlan.
Acá, en entrevista, detalla sus andanzas en ese camino.
Una manera de entenderlo es como una caja de herramientas que se aplica a todas mis bases de datos: saco el promedio, la varianza, gráficas de barras… Desde mi punto de vista eso no es lo mejor, se aplica el formulazo, sin entender por qué.
Creo que el análisis de datos debe ser un proceso artesanal donde lo que hago es buscar patrones en los datos. Algunos periodistas muchas veces están muy entrenados para buscar historias y eso es lo que hacen: agarran los datos, los grafican de mil maneras posibles y empiezan a buscar sus historias.
A veces se trata de sacar un patrón relevante para la nota. Otras el punto es notar cosas raras que hacen los datos (datos fuera del patrón usual), lo relevante es preguntarse por qué mis datos se comportan así.
Yo trabajé mucho tiempo con la física y analizando datos para la física. Buscar patrones tiene que ser un proceso que tiene una gran carga visual. En la academia no lo entienden, pero la parte visual te ayuda un montón.
Esencialmente lo puedes hacer en cualquier paquete que tenga un poco de matemática. Yo uso un paquete que se llama así, Matemática, aunque también se puede usar Stata, R, sps.
Empezamos a trabajar con otros datos, más académicos, de biología, por ejemplo, y poco a poco nos dimos cuenta de que estos no eran los datos que nos interesaban.
Nos preguntábamos porqué los científicos no atacan problemas que le interesen más a la gente, como la pobreza, el agua, el hambre.
Empezamos a bajar datos y ver cuáles eran las problemáticas en esas áreas. Con el tiempo notamos que sí podíamos hacer algunas cosas pero el camino académico no era lo mejor.
Físicos hablando de ciencias sociales no es algo que se vea bien en la academia.
Al pincipio Morlan funcionó sólo como una empresa de consultoría. Nos empezamos a dar cuenta de que no sólo es importnate la parte de las matemáticas sino también la del diseño.
Presentar en PDF era algo que hacíamos y se nos volvió completamente aburrido. Como físicos también estábamos acostumbrados a ver los datos sólo como números, teníamos 3 años haciendo pura física.
Nos dimos cuenta de que necesitábamos también la parte del contenido social. Nos reunimos con gente que estaba más metida en esto: periodistas, sociólogos, gente que nos aterrizara y nos bajara a la parte social. Así fue surgiendo Morlan. La idea de estos tres ejes fue cómo construir un producto que no tenía nadie. Había gente que estaba haciendo consultoría pero la parte del diseño y del contexto la dejaban fuera.
Había gente que hacía productos muy buenos de periodismo de datos o visualización de datos pero que no tenía nada de buen análisis o contexto social. Gente que escribía ensayos pero no tenía nada de visualización o análisis matemático.
Decidimos reunir las tres cosas. y nos ha funcionando muy bien.
Nos preguntan mucho quiénes son nuestros clientes. Recientemente hemos trabajado con medios, con Milenio Data Lab y con El Universal. Pero nuestra principal fuentes de ingresos tiene que ver con gente del gobierno y consultorías.
Por ejemplo, estuvimos muy metidos analizando las bases de datos de desaparecidos. Al principio salió simplemente como un tuit que pusimos y empezamos a hacer otros productos que tenían que ver con bases de datos de desaparecidos. Poco a poco lo empezamos a vender a gente de los medios y a partir de ahí surgió el proyecto de desaparecidos de El Universal. Empezó con jalar una base y ver qué se puede hacer.
Pero todavía nos movemos mucho más en el análisis de datos más fuerte y más pesado.
Trabajamos, por ejemplo, con el gobierno de Aguascalientes, el análisis de la redistritación electoral, que ahorita está vigente en Ags., es un problema de minimización de datos, que involucra matemáticas más especializadas. Hemos trabajado con algunos partidos políticos haciendo análisis sociodemográfico y electoral.
La mayoría de las cosas que vendemos, por lo mismo de que las vendimos, no las podemos poner en la página. Es trabajo con ONGs y decimos que analizar estos datos estaría bien y lo montamos.
En este tipo de trabajo nos acercamos a las ONGs por el contenido social que nos interesa promover. En algunos casos, como nuestro trabajo con el Instituto para las Mujeres en la Migración (IMUMI) el trato ha sido casi un intercambio de nuestro trabajo por publicidad, pues sabemos que algunas organizaciones no disponen de grandes fondos. No queremos que sean nuestros análisis solamente para sacar dinero sino la parte de analizar los datos de forma social y que esto sirva para algo más.
Depende mucho de a quién esté enfocado. En los medios hemos visto muchos errores en análisis de datos. También hemos visto cómo la dinámica de manejar los datos es muy diferente en un medio, donde quieren los datos más importantes para la siguiente semana.
Una consultoría funciona casi por completo al revés: nos dan un base y es necesario hacer casi toda la visualización posible, un trabajo de un mes.
Hemos encontrado que el principal error en la gente que hace análisis de datos es que se quedan muy en la superficie. La base de datos es muy rica y sacan nada más el dato más importante o nada más un análisis muy superficial.
Usualmente, con la mayoría de las bases, las analizamos durante meses. Empezamos a jugar, graficamos de mil maneras diferentes y buscamos patrones de forma visual y matemática. Cada proceso implica un mes o mes y medio con cada base.
Como mencionaba en el curso de DatosExtremos. Conforme las acumulas, las conoces y ya después es posible generar cruces.
Yo creo que el analizar los datos de desaparecidos ha sido muy fuerte para nosotros. En algún momento empezamos a bajar bases de datos de desaparecidos y me puse a scrapear una base de datos donde tenían fichas y entonces abrí la carpeta y de repente se empezó a llenar con fotos. Ese momento fue muy impactante, un baño de realidad. Yo estaba pensando esto como números y ves cada una de las fotografías y empiezas a pensar que son personas.
Justo ayer lo platicaba con otros periodistas. Una vez que te metes al tema de los desaparecidos ya no puedes salirte, sientes cierta responsabilidad: si yo puedo hacer algo, tengo que hacer algo.
Pero también trabajamos mucho con nuestra base de datos de pobreza. Volvemos a ella una y otra vez y es la base de muchos de nuestros cruces para otros trabajos.
Marcos Ge - el febrero 17, 2016 en DAL, Estadística, Expediciones de Datos, Experiencias, Fuentes de datos, Guest posts, Noticias, Uncategorized
Han influido en la rendición de cuentas nacionales de Perú y Costa Rica con publicaciones como Decide por tu Cantón o Cuentas Juradas; han capacitado periodistas para que detallen la confiabilidad de gasolineras, como en Gasolineras honestas, y han contribuido a la vinculación de datos sobre mineras en Perú, a través del Instituto de Gobernanza de Recursos Naturales.
Pero, por encima del alcance de proyectos específicos en los que trabajaron durante el Fellowship de School of Data, los fellows latinoamericanos que hasta ahora han participado evalúan el impacto de su trabajo en términos de su contribución para la creación de una escena local y regional en el uso efectivo de datos, que se une a una red global que tiene el mismo propósito.
Camila Salazar y Julio López, seleccionados de la Fellowship 2015, así como PhiRequiem y Antonio Cucho, en 2014, detallan cómo compartieron sus conocimientos sobre apertura de Datos a una red global de actores sociales, los retos que enfrenta la escena local y las enseñanzas que obtuvieron de sus fellowships, vis a vis la convocatoria para este Fellowship 2016.
Para los participantes, el fellowship fue la oportunidad única o bien para generar escenas locales y regionales de apertura, limpieza y visualización de datos, o de elevar la solvencia técnica de comunidades periodísticas, o contribuir a movimientos de transparencia de recursos naturales, con el soporte de una comunidad global y regional que, además, les otorgó visibilidad a una enriquecedora red de actores sociales.
Periodismo de datos y Datos sobre la industria extractiva son dos de los temas en que ellos se especializaron, y forman parte de los enfoques temáticos de la convocatoria para el Fellowship 2016.
La primera entrega es esta entervista con Camila Salazar, fellow de Costa Rica en 2015
La segunda entrega es una relación del proceso de capacitación, principalmente en Centroamérica, de PhiRequiem, fellow de México en 2014.
La tercera y penúltima entrega es una entrevista con Antonio Cucho Gamboa, fellow por Perú en 2014, fundador de Ojo Público, Open Data Perú, y un fellowship nacional.
Nuestra última entrega es nuestra entrevista con Julio López, fellow por Ecuador en 2015, quien inauguró lo que hoy una línea temática del fellowship: la extracción, gestión y visualizació de datos sobre recursos minerales.
