Transparentando las encuestas telefónicas / Eduardo Engel : Weblog

Transparentando las encuestas telefónicas

06.07.2009 

A propósito de las polémicas que se han suscitado en semanas recientes con las encuestas electorales telefónicas, hay una entrevista que resume magistralmente los problemas de estas encuestas. El entrevistador es Jon Stewart, para mi gusto uno de los animadores más incisivos y originales de la televisión estadounidense; el entrevistado es John Zogby, el encuestador que se hizo famoso con sus certeras predicciones para las elecciones presidenciales de 1996 y del 2000 (fue uno de los pocos en predecir el virtual empate entre Bush y Gore).

La entrevista tuvo lugar pocos días antes de la elección presidencial del 2004 (Bush vs. Kerry). Luego de los saludos de rigor, el animador le hace notar al encuestador que, dada la cercanía de la elección, seguramente está trabajando a todo vapor.
Zogby: "Cierto. ¿Por qué no estás en tu casa donde mi gente está tratando de llamarte en este momento?".
Stewart: "Así que son ustedes". (Se queda pensando). "Cuando dicen que una encuesta tiene un tamaño muestral de, dígamos 1.300, ¿a cuántas personas tuvieron que llamar?".
Zogby: "Ufff, me imagino que necesitamos alrededor de 10 mil números telefónicos".
Stewart: "¿En serio?".
Zogby: "Sí, de veras. Mucha gente no está en su casa y alrededor de dos de cada tres se niega a responder hoy en día".
Stewart: "Entonces, ¿por qué el margen de error no es del 70%?".
Zogby: "¿Por qué me preguntas esto?" (Lo que sigue en voz baja pero claramente audible) "Dijiste que no me ibas a preguntar esto".
Stewart: "Tienes razón, no te lo voy a preguntar. Dime entonces quién crees va a ganar (la elección presidencial de la próxima semana)".
Zogby: "Kerry".

Coincidencia o no, la encuesta TNS-Time dada a conocer esta semana, según la cual Enríquez-Ominami aventajaría a Frei en las preferencias electorales, también se basa en aproximadamente 1.300 entrevistas telefónicas. Según la empresa encuestadora, el margen de error sería del 2,6%. Las condiciones que deben cumplirse para que esta cifra refleje cuán confiable es la encuesta no se dan ni remotamente, de modo que la afirmación sobre margen de error no tiene base científica alguna.

La afirmación anterior es dura, pero cierta, por varios motivos. Primero, porque para poder hablar de margen de error la encuesta debe ser probabilística, es decir, los encuestados deben seleccionarse al azar dentro de grupos bien definidos de electores. La encuesta TNS-Time no es probabilística, sino que por cuotas, lo cual significa que no sabemos cuán probable es encuestar a distintos grupos de electores y no se puede aplicar la teoría estadística para calcular un margen de error. Conscientes de lo anterior, algunas encuestas por cuotas incluyen un pie de página diciendo que el margen calculado sería válido si la muestra hubiese sido probabilística. Algo así como decir que el condenado sería inocente si no hubiese cometido el crimen.

Y por si el párrafo anterior no bastara, cabe agregar que las encuestas telefónicas tienen una serie de problemas serios aun en caso de ser probabilísticas. Primero, TNS-Time no informa cuántas llamadas tuvieron que hacer para recoger 1.300 respuestas. ¿Qué fracción de los teléfonos que llamaron no respondieron? Y entre quienes contestaron el teléfono, ¿qué fracción se negó a responder? Si, como dice John Zogby, se necesitan alrededor de 10 mil llamadas telefónicas para obtener 1.300 respuestas, el grado de precisión será varias veces el 2,6 % mencionado. Peor aun, sin supuestos adicionales que en la práctica suelen ser imposibles de verificar, no existen métodos estadísticos para calcular un margen de error cuando quienes responden la encuesta son una fracción pequeña de quienes se intentó contactar.

En el caso de la encuesta TNS-Time, los problemas son aún más burdos. Los porcentajes que informa la encuesta para las opciones de intención de voto en la primera vuelta suman 101,7%. En el mejor de los casos se trata de errores de redondeo que reflejan una falta de profesionalismo preocupante, en el peor de los casos recuerda a aquella encuesta que daba al Sí como ganador, publicitada con bombos y platillos por la prensa afín a la dictadura el día del plebiscito de 1988, donde las opciones Sí y No sumaban más del 102%.

Pero el problema va más allá de una encuesta particular. La mayoría de las instituciones que realizan encuestas electorales en Chile no están cumpliendo con estándares mínimos de transparencia que permitan a la ciudadanía formarse una opinión sobre la seriedad y validez de estos instrumentos.Para empezar, deben consignar no sólo el número de encuestados, sino también el número de personas que declinaron responder o, en el caso de las encuestas telefónicas, que no respondieron la llamada. También debe mencionarse si la metodología empleada permite calcular un margen de error o no, y de ser así, cuál es dicho margen.

Igualmente importante para la ciudadanía es conocer los dueños y financistas de las instituciones que realizan y encargan una encuesta. También, cualquier nexo que éstos pudieran tener con candidaturas específicas. Si una encuesta financiada por una institución que tiene nexos con Frei concluye que un tercio de los votantes afines a la UDI no va a votar por Piñera, el impacto sobre la opinión pública será menor que si dicha conclusión la obtiene una organización independiente del candidato concertacionista.

Hemos avanzado de manera importante en transparentar el funcionamiento del mundo público, la nueva legislación sobre transparencia es un ejemplo prometedor. Sin embargo, hay áreas donde es legítimo exigir grados de transparencia mucho mayores que los actuales a los actores privados, las encuestas políticas es una de estas áreas.