Estás navegando por el archivo de PhiRequiem.

Memorias de San José

- el enero 13, 2015 en Noticias

El 17 de noviembre del año pasado dio inicio la cumbre regional de Open Government Partnership (OGP) Latinoamérica, en la cual representantes de organizaciones civiles de 18 países convivieron, dialogaron e intercambiaron ideas en una «desconferencia» donde se trataron distintos temas. Fue interesante escuchar cómo se manejan las cosas en distintos países, notar algunas similitudes y contextos muy diferentes.

Screen Shot 2015-01-13 at 16.48.14

El martes 18 las actividades empezaron con algunas palabras del presidente de Costa Rica y otros representantes de gobierno. Después se dio una serie de charlas y mesas de diálogo en salas destinadas para ello, y al mediodía en paralelo empezó un datatón, el cual dirigimos Antonio y yo. Aquí nos dimos a la tarea de orientar y apoyar a los 5 equipos que tenían por meta hacerle preguntas al dataset de los compromisos que hicieron los países de OGP.

Como primer objetivo se dieron a la tarea de entender la estructura de los dataset “ Action Plan Commitments and IRM Data” que podemos encontrar aqui →  http://goo.gl/yZmcKC, http://goo.gl/vLgYWj después de ese primer acercamiento a la DB fue hora de generar y plantear las preguntas que queríamos hacerle a esa base de datos, aquí salieron preguntas e hipótesis muy interesantes que desafortunadamente por cuestiones de tiempo no pudieron ser abarcadas en su totalidad, pero los equipos escogieron las preguntas que les parecieron más relevantes.

 

Screen Shot 2015-01-13 at 16.49.48

A las 9 de la mañana del miércoles 19, los equipos ya estaban trabajando en el análisis para responder sus preguntas y mientras las sesiones y charlas del OGP San José se realizaban, los chicos del hackathon buscaban, entrevistaron,  cruzaban bases de datos, scrapeaban, etc. Para el mediodía ya con los resultados y respuestas  los chicos empezaron a trabajar en las visualizaciones, infografías, mapas, artículos, etc.

A las 3 de la tarde llegó el jurado periodistas, analistas y actores cívicos,  los equipos impresionaron con sus presentaciones, y mostraron los siguientes productos:

http://ogpcr.hackdash.org

  • Team Cero Riesgos: Generando info de riesgos por zonas. Datos OIJ y Poder Judicial.
  • Team Accesa: Comparar la percepción de la ciudadanía en Latinoamérica sobre ciertos temas de interés presentes en el LatinoBarómetro contra los compromisos planificados y cumplidos por país para identificar si responden o no las planificaciones gubernamentales con lo que la ciudadanía pide más.
  • Team E’dawokka: Una comparación de agendas y prioridades de las propuestas de América Central con América Latina.
  • Team InfografiaFeliz: Cómo se ubican los países en el Índice de Desarrollo Humano y Transparencia Internacional según la cantidad y éxito de sus medidas anticorrupción.
  • Team Bluffers: Medir el porcentaje de abandono y cumplimiento de los compromisos formulados por los países en la data set y relacionar el diseño de los compromisos  (medidos por los indicadores de relevancia e impacto potencial) y su cumplimiento.

Al final del día el jurado eligió al equipo InfografiaFeliz y al equipo Accesa como ganadores y obtuvieron un premio en efectivo.

 

Screen Shot 2015-01-13 at 16.51.43

Cabe destacar que esta fue la primer expedición de datos en Costa Rica y pueden ver mas en los siguientes enlaces: https://www.facebook.com/ogpsanjose, https://twitter.com/OGPSanJose, https://www.flickr.com/photos/ogpsanjose , http://grupoincocr.com/open-data/miembros-de-grupo-inco-ganan-la-primera-expedicion-de-datos-en-costa-rica

De la experiencia adquirida en esta expedición puedo destacar que la gente siempre esta dispuesta a aprender y crear pero no todos conocen lo que son datos abiertos y por que son útiles, este tipo de iniciativas estan logrando su cometido, pero son insuficientes, por eso hay que mantener contacto con los participantes e incitarlos a compartir las experiencias y, ¿por qué no?, a que hagan estas iniciativas.

Les dejo algunos tips para cualquiera que desee hacer una expedición.

  • Es difícil explicar a la gente la diferencia entre expedicion de datos y hackathon, pero entre mas pronto se entienda mejor.
  • Debe haber una base en cuanto a conceptos, por el poco tiempo es difícil dar introducciones o talleres previos pero hacer un esfuerzo para que esto siempre viene bien.
  • Los equipos siempre tienen buenas ideas para manejar la información y mostrar las conclusiones pero no las aplican por creer que es algo muy tecnico y difícil, tener un hackpad o un drive con ejemplos y lista de herramientas ayuda a quitar estos temores.

La magia de import.io

- el diciembre 4, 2014 en Tutoriales

Editamos este post para agregar el enlace a este webinar de Phi sobre el mismo tema.


La herramienta: import.io es una herramienta para la extracción de datos muy poderosa y fácil de usar que tiene como objetivo obtener datos de forma estructurada de cualquier sitio web. Está pensada para no programadores que necesitan datos (y programadores que no quieren complicarse la vida).

¡¡Casi lo olvido!! Además de todo, es gratuito (o_O)

El objetivo de este post/tutorial es enseñarte a scrapear una web y crear un dataset y/o un API de consulta en 60 segundos. ¿Estás listo?.

Es muy simple. Sólo debes ingresar a http://magic.import.io; introducir la URL que deseas scrapear, y pulsar el botón “GET DATA”. ¡Sí! ¡Así de fácil! Sin plugins, sin instalar programas, sin conocimiento previo y sin registrarte. Esto puedes hacerlo desde cualquier navegador; incluso funciona en tu tablet o smartphone.

Por ejemplo: si queremos tener en una tabla la información de todos los artículos relacionados con “Chewbacca” en MercadoLibre, sólo debemos ir a su página y hacer la búsqueda. Después copiar el link (http://listado.mercadolibre.com.mx/chewbacca), pegarlo y presionar GetData.

 

Screen Shot 2014-12-03 at 19.00.11

 

Notarás que ahora tienes toda la información tabulada, y lo único que debes hacer es eliminar las columnas que no necesites. Para esto sólo coloca el cursor sobre la columna que deseas eliminar y aparecerá una “x”.

Screen Shot 2014-12-03 at 19.00.23

También puedes renombrar las cabeceras para que sea más legible; sólo haz un clic en el título de la columna.

Screen Shot 2014-12-03 at 19.00.37

Por último, basta con que hagas clic en “descargar”, y te lo guardará en formato csv.

Screen Shot 2014-12-03 at 19.00.52

Ojo: notarás que te da las opciones “Download the current page” y “Download # pages”. Esta última es por si la web a scrapear tiene varios resultados en distintas páginas.

Screen Shot 2014-12-03 at 19.01.06

En nuestro ejemplo, tenemos 373 items con 48 artículos cada página. Así que nos sirve mucho esa opción.

Screen Shot 2014-12-04 at 08.09.27

Por último, buenas noticias para los más técnicos: hay un boton que dice “GET API” y este nos sirve, “literal”, para generar un API de consumo que actualizará los datos cada llamada. Para esto debes registrar una cuenta (también es gratuita).

Screen Shot 2014-12-03 at 19.01.44

Como vieron, podemos scrapear cualquier web en menos de 60 segundos aunque esté paginada. Esto es “magic”, ¿o no?
Para cosas más complicadas que requieren logueo, entrar a subwebs, automatizar búsquedas, etcétera, tenemos un programa de import.io que se instala y que explicaré en otro tutorial.

Explorando datos de gobierno en México, D.F.

- el septiembre 1, 2014 en Expediciones de Datos

Los pasados 12, 13 y 14 de agosto se llevó a cabo en México, D.F., una serie de talleres para aprovechar la primera liberación de datos abiertos del Gobierno Federal, que están publicados en el portal datos.gob.mx. En estos talleres participaron diversas organizaciones civiles y periodistas que, tras una introducción al uso de datos abiertos y una capacitación para el uso de herramientas de limpieza, análisis y visualización de datos, se dispusieron a explorar los datos de México en una expedición que tuvo los siguientes tópicos:

  • Martes 12 agosto: Infraestructura, productividad e inversión pública.
  • Miércoles 13 agosto: Pobreza, carencias y desarrollo social.
  • Jueves 14 agosto: Salud pública, demografía y población.

En los talleres identificamos preguntas que pueden ser resueltas utilizando conjuntos de datos, así como herramientas de limpieza y visualización que nos permiten formas de análisis rápidas y efectivas.

De la teoría a la práctica se mostró cómo se puede obtener dichos datos, y, empleando herramientas de código abierto, encontramos historias y vimos cómo crear visualizaciones para hacer la información más fácil de entender.

Durante los talleres, algunos invitados nos entusiasmaron contándonos sobre los proyectos en que trabajan, como el de las chicas de telus.mx que usaron datos públicos para generar inteligencia geopolítica, o los chicos de descifra.mx que usaron los datos públicos para orientar a PyMEs y Corporativos sobre micromercados. También Francisco Mekler de mejoratuescuela.org nos hablo sobre la importancia de anonimizar datos, y dio recomendaciones de seguridad que debemos tomar en cuenta a la hora de publicar.

 

Phi

Los facilitadores jugamos un papel muy importante en el proceso de aprendizaje, así que he aquí algunos consejos para para llevar un taller exitoso (^_-):

  • Planifica tu taller – No dejes las cosas al azar. Recuerda si tienes alguna errata, no hay que sufrir; tómalo con humor y úsalo para incentivar la participación.
  • Averigua los perfiles de la audiencia – Esto te permitirá encaminar el contenido del taller a algo con mayor interés para todos y todas.
  • Pásala bien – Si disfrutas lo que estás haciendo, es probable que los participantes también lo pasen bien.
  • No existen líneas divisorias – El público está ahí para aprender, pero siempre puedes enriquecerte conociendo lo que hacen y cómo lo hacen. Incentiva la participación; hazlos tus amigos.
  • Tú eres la guía – Sólo puedes mostrarles el camino, pero son ellos los que deben hacer las cosas.
  • Facilita la curva de aprendizaje – Busca un lenguaje en común, evita los tecnicismos y busca la manera más fácil de llegar al resultado.
  • Prepara las herramientas – Prepara la lista de herramientas y descargas, pide a los participantes las descarguen e instalen de ser posible antes de llegar al taller. Puedes tener unos USB precargados por cualquier contingencia.