Hacerse algunas preguntas es una buena manera de iniciar una búsqueda de datos. Te ayuda a concentrarte y encontrar argumentos que te servirán para resolver tus dudas.

De cualquier manera, si tienes una pregunta en mente o no, siempre debes de estar atento a los patrones inesperados que encuentres en las bases de datos.

Cualquier dato que no esperabas, o aquellos que consideres sorprendentes, te ayudarán a tener mejores resultados.

Pensando de manera tabular

Los datos recolectados y estructurados son muchos más útiles, pero no siempre están disponibles en formatos de tablas (CSV, TSV,Excel, Libre Office, etc). La recolección de datos se puede hacer de diferentes maneras: desde analizar informes, reportes, balances hasta usar scripts de programación para scrappear, usar drones, encuestas, y muchas formas más.

Crear una tabla para ordenarlos (los datos) es muy eficiente.

La ruta del data pipeline

En resumen, el data pipeline es la guía que necesitamos para trabajar con datos. Para tener un trabajo más ordenado y más simple (no todo es fácil), debemos seguir estos pasos.

 Adquisición / Fuentes de datos.

En esta primera etapa nos encargamos de buscar nuestra fuente de datos. Ya sean portales de datos públicos, reportes, balances, encuestas, ¿drones? O podemos pedirle a nuestro hacker más cercano que nos ayude a extraer un poco de información.

La limpieza y la transformación de datos.

Muchas veces necesitamos eliminar registros inválidos y traducir algunas columnas a un conjunto legible de valores de un set de datos. También vamos a querer combinar conjuntos de datos de diferentes tablas en una sola, eliminar los valores y más. Conforme adquirimos datos, nos daremos cuenta que estos tienen muchas inconsistencias. En esta parte necesitan tener mucha paciencia, les tomara más tiempo que las otras etapas.

El análisis de los datos.

Esta etapa nos será de utilidad pues responderemos nuestras preguntas iniciales. Acá nos encargamos de corroborar los datos obtenidos, validarlos, cruzar información. Aquí es donde encontraremos nuestra historia.

Presentación y/o visualización de datos.

Por fin veremos el resultado final. En esta etapa nos encargaremos de volver visible nuestros datos. Acá decidiremos cómo los presentaremos, dependiendo de cual sea nuestro objetivo.

Esta guía básica nos permitirá tener una idea de cómo poder iniciar nuestra aventura con datos y no perdernos en el intento. Recuerden que muchas veces las fuentes de datos suelen desaparecer por raras razones así que les sugiero documentar cada paso que realicen. También es importante de corroborar sus fuentes y los datos obtenidos.