Datos y organizaciones. ¿Cuántas de nuestras operaciones, por no aplicar metodología de investigación para recolectar datos, están llevándonos a resultados sesgados que podrían afectar nuestra causa? 

Este genial post es una traducción del publicado originalmente en Medium por Zeynep Tufekci, socióloga y catedrática de la Universidad de Carolina del Norte. Gracias a Salvador Ramírez por la traducción, y a Zeynep por el permiso para republicarlo en Escuela.

————————————————-

Hollaback y por qué todxs necesitamos mejores métodos de investigación
(Y por qué todos los datos necesitan teoría)

Hace algunos días, una agencia creativa produjo un video para una ONG llamada Hollaback, y que está enfocada en combatir el acoso callejero. El clip se hizo viral. El video de dos minutos mostraba a una mujer de atracción convencional, una actriz blanca, caminando por las calles de Nueva York durante “10 horas”, y siendo acosada. Es difícil no notar que la mayoría de los hombres hostigando a la actriz blanca eran personas de color. De hecho, casi todos eran hombres negros. Al final del video se puede leer que “Más de 100” instancias de “acoso verbal callejero” ocurrieron durante esas 10 horas, y que provenían de personas con todo tipo de antecedentes.

¿Y luego?

En efecto, éste era un proyecto con una pregunta de investigación implícita (¿“Las mujeres blancas y atractivas, en el sentido convencional, son acosadas verbalmente en Nueva York”?), y con ella produjeron una respuesta: el video. Sin embargo, al hacerlo sin pensar en la metodología, se demuestra ampliamente la crucial necesidad sustantiva, así como la importancia política, de los métodos de investigación.

He dado la clase “introducción a los métodos de investigación” a estudiantes de licenciatura por muchos años, y hay veces que me preguntan por qué les tendrían que importar todas estas “cosas metodológicas”, además de para quitarse de encima una materia obligatoria de la licenciatura en sociología. Yo siempre les respondo que, sin un entendimiento de los métodos de investigación, unx no puede saber cómo juzgar lo que se está viendo.

El video de Hollaback nos demuestra exactamente el porqué.

El video de Hollaback también demuestra por qué los datos sin teoría pueden ser tan desorientadores y también cómo los mismos datos pueden dar cabida a múltiples teorías. Si afirmamos que todas las recolecciones de datos implican, de una u otra forma, una selección (hasta la más grande base de datos ha hecho una selección al decidir lo que se incluye y de cuáles fuentes), y que la selección de datos es siempre en sí un método de investigación, entonces siempre está la necesidad de entender la metodología.

Primero, enumeremos todas las hipótesis compatibles con los datos de este video:

Hipótesis 1: Los hombres de color tienen una tendencia desproporcionada a acosar de manera verbal a una mujer, en especial si es blanca y convencionalmente atractiva.

Hipótesis 2: Todos los hombres tienen la misma tendencia a acosar verbalmente, pero los creadores del video tienen un sesgo, consciente o inconsciente, en contra de los hombres negros (y editaron, dejando fuera a propósito a hombres de otras razas).

2.a: Conscientemente: Son racistas y están apelando a la clásica imagen de “mujer blanca en peligro y amenazada por hombres negros” — la cual tiene una larga y desagradable historia; y, por lo tanto, causó la famosa indignación de muchos la semana pasada [nota: cuando este artículo fue publicado]´.

2.b: Inconscientemente: Hay una distorsión metodológica en la investigación que produce este resultado.

2.c: Ambas, 2.a y 2.b, son verdad.

Hipótesis 3: Es una correlación espuria: hay alguna otra razón que causa que estos dos eventos estén correlacionados.

El punto metodológico a resaltar es que el video, sin mayor análisis reflexivo, puede promover cualquiera de estas tres hipótesis incompatibles. En otras palabras, con simplemente mirar el video, unx puede creer cualquiera de las tres hipótesis, y probablemente escogerá la que encaje mejor con sus prejuicios.

Comencemos por la hipótesis 3, la más fácil de descartar.

Una correlación espuria ocurre cuando una tercera variable, sin relación, causa un cambio en otras variables y hace parecer que las dos primeras están causalmente conectadas, aunque en realidad no sea cierto. Y ya que el cerebro humano es una máquina de escritura narrativa, el ver A y B juntos provoca que las personas escriban historias que correlacionan a A con B. Un ejemplo tonto, aunque correcto, es la correlación entre el helado y los asesinatos: durante meses en los que las personas comen más helado hay más asesinatos. Esto no es por que las paletas sean buenos instrumentos para el homicidio. La correlación espuria es causada por una variable oculta: la temporada. Hay más crímenes en el verano, así como hay más helado en el verano.

Cuadro 1: Solía creer que la correlación implicaba causalidad.
Cuadro 2: Después tomé una clase de estadística y ahora no lo creo.
Cuadro 3: (Personaje 1) Parece que la clase te ayudó. (Personaje 2) Bueno, tal vez.

Mientras que el caso del verano y los homicidios es obvio, se ha cometido muchos grandes errores durante la historia como consecuencia de variables confundidas. Un caso famoso es la Terapia de Reemplazo de Hormonas, la cual investigadores creían que disminuía el riesgo de cáncer cuando en realidad lo incrementaba. El factor de confusión era que las mujeres con mayor tendencia a aplicarse la terapia eran, de por sí, más sanas. Este error seguramente causó muchas muertes.

El factor de confusión más obvio en nuestro caso habría sido que Hollaback hubiera hecho a su actriz caminar por las calles del Harlem, u otros barrios negros, y evadir los barrios blancos. Sin embargo, ellxs afirman que caminó por toda Nueva York y no escogieron solamente barrios de minorías.

Por suerte, alguien hizo el trabajo de campo y mapeó los lugares de las tomas algo que cualquier investigador produciendo un video de dos minutos, luego de 10 horas de material, debió haber hecho, y que es un gran ejemplo de por qué las “anécdotas”, reemplazando la investigación sistemática, pueden ser tan desorientadoras.

Columna 1: número de toma. Columna 2: punto de referencia. Columna 3: intersección. Columna 4: Barrio. Columna 5: Área.

Aquí el gráfico:

Harlem: 59%; Times Square: 21%; Canal: 8%, Village: 4%; Desconocido: 8%

Como los autores dicen correctamente, ésta es la pregunta que provoca esta distribución:

Los cineastas afirman haber grabado 10 horas de video al caminar por las calles de Manhattan; sin embargo, más de la mitad de las tomas provienen de una sola calle. En específico, la calle 125 en el Harlem. Esto hace que unx se pregunte si los cineastas intencionalmente escogieron concentrar sus grabaciones en un par de barrios, o si, de muchas locaciones, éstos son los únicos lugares donde el acoso sucedió.

Tomemos ahora la hipótesis número 1. Esto obviamente le llamará la atención a muchas personas, ya que evoca prejuicios arraigados desde hace mucho tiempo, y puede que muchas personas crean que ésta es su experiencia. La mayoría de las personas, en especial blancas, tienen mayor tendencia a notar la raza de una persona en el caso de que ésta no es blanca. En otras palabras, un hombre negro tiene más probabilidades a ser descrito como un “hombre negro” que un hombre blanco de ser descrito como un “hombre blanco”, en lugar de ser descrito… simplemente como un hombre. Esta prominente diferencia en la relevancia de la información es la razón por la cual los estudios de investigación intentan cuidadosamente sistematizar sus observaciones, en vez de apoyarse en las impresiones de la gente, las cuales están sesgadas a favor de lo relevante a nivel personal: lo que más te interesa es lo que más notarás.

Está claro que muchos observadores brincaron a la conclusión de la hipótesis 1: que el video es una muestra representativa del acoso verbal. Por ejemplo, la prominente autora Joyce Carol Oates parece creerla. Ella ciertamente no es la única.

https://twitter.com/JoyceCarolOates/status/527813215770935296

“¿Acaso no es el acoso de mujeres caminando solas en áreas urbanas (tal como lo hacen hombres con toda la libertad y sin ningún incidente) un asunto de barrios? En Nueva York, ciertamente”.

https://twitter.com/JoyceCarolOates/status/527813848792051712

Estaría muy sorprendida si mujeres caminando solas fueran acosadas en el pudiente centro de la ciudad de Nueva York (Quinta Avenida, Cuarta Avenida), Washington Square Park, etc.

Éste es un gran ejemplo de por qué las observaciones y anécdotas personales —las cuales son importantes para nuestro sentido de identidad— no pueden y no deben recibir confianza ciega. El estudio sistemático, enfocado en remover nuestros sesgos, es crucial para comprender al mundo.

Remover los medios que permiten  sesgos implícitos puede ser revelador. Por ejemplo, luego de décadas de escasez de mujeres en orquestas importantes, algunas sinfónicas comenzaron a hacer sus entrevistas a ciegas. Los músicos tocaban sus instrumentos detrás de una cortina. Mirad pues, que las mujeres, anteriormente en situación de rezago profesional en las  sinfónicas, comenzaron a ser evaluadas mucho mejor en sus ejecuciones.

Entonces, dada la gran distorsión metodológica al recopilar ejemplos, el video será compatible con ideas preexistentes de algunas personas en cuanto a la desproporción racial del acoso verbal; sin embargo, no proveerá una sólida evaluación metodológica.

Para evaluar más a fondo la hipótesis 2, leamos lo que dijo el productor del video. De acuerdo con un artículo en la revista Slate, él explicó que lo que sucedió fue lo siguiente:

“Tuvimos una buena cantidad de tipos blancos, pero, por alguna razón, mucho de lo que dijeron fue al pasar, o fuera del cuadro de la cámara”, o arruinado por sirenas o otros ruidos. El producto final, escribe, “es una imperfecta representación de todo lo que pasó”.

Y justamente eso es indefendible, metodológica o sustancialmente. La única explicación neutra es que hay muchas obras de construcción, ambulancias y sirenas en las partes blancas de Nueva York; y que simplemente no pudieron pillar a un blanco acosador. Eso me parece bastante improbable. Sin embargo, si quizás —un gran quizás— fuera el caso, un investigador ético volvería a hacer el estudio, porque los datos ya no son válidos debido al factor de confusión (es decir, el ruido en los barrios de las no-minorías). Al menos un poco de esfuerzo sería necesario para asegurarse que  los resultados no fueron corrompidos por este obstáculo metodológico.

También hay una gran discusión en cuanto al impacto de decidir escoger a una actriz blanca, joven, convencionalmente atractiva, para los resultados (en el dado caso de que fueran presentados perfectamente, lo cual no fue el caso), entre otras elecciones hechas. De hecho, cada elemento del diseño de investigación requiere de ardua planeación. Eso es lo que hace la buena ciencia social, y a la vez, lo que no atinan los puntos de vista malos, anecdóticos, embrollados y sesgados.

En Twitter, David Chen remarca otro punto importante: este video fue diseñado para “hacerse viral”, y un video que comenzara con unos cuantos hombres blancos piropeando quizás no lo habría logrado.

https://twitter.com/davechensky/status/529276016812777472

“En otras palabras: si los primeros 30 segundos del video fueran piropos inaudibles de tipos blancos, quizás no hubiera sido tan popular”.

Ése es un gran punto y una gran discusión acerca del contexto de “hacerse viral”; sin embargo, el punto aquí es que es metodológicamente endeble, sin importar su intención o su sesgo consciente (o inconsciente).

Los métodos de investigación, un tópico aparentemente seco, son el cuerpo y alma del conocimiento. La mayoría de los datos respaldan más de una teoría. Esto NO significa que todos los datos respalden todas las teorías: por el contrario, múltiples explicaciones pueden encuadrar a un conjunto de resultados. Escoger la teoría subyacente adecuada, un proceso repetitivo que siempre se construye sobre sí mismo, requiere una ardua meditación en cómo la selección de datos influirá en los resultados, y cómo la presentación de esos resultados se prestarán a múltiples teorías, y cómo las teorías serán compatibles con las existentes visiones del mundo, y cómo un mejor diseño de investigación podrá ayudarnos a distinguir entre explicaciones enfrentadas.

Un buen proyecto de investigación conscientemente forcejea con estas nociones.

¿Uno malo? Al igual que éste, reprobaría.