Leo Zuckermann - ¿Quién es quién en las encuestas después de la elección de 2012

Leo Zuckermann

La noche misma de las elecciones, a partir de escandalosas diferencias entre el resultado de los comicios y las últimas cifras presentadas por las principales casas encuestadoras, se puso en duda la confiabilidad de un instrumento indispensable en los procesos democráticos: las encuestas. En este artículo escrito a mitad de la tormenta, Leo Zuckermann practica el primer corte de caja analítico sobre la actuación de 18 empresas demoscópicas que hicieron públicas sus mediciones, sin que se sepa a la fecha cuántas de ellas trabajaron para algún candidato o algún partido político. Aunque el estudio revela que seis de ellas reprobaron, algunas estrepitosamente, Zuckermann demuestra que hay empresas en las que se puede confiar, que no hay que prescindir de estos ejercicios, aunque es necesario promover un debate sobre la industria demoscópica, a partir de la transparencia y la rendición de cuentas

A principios de marzo pasado, el presidente Felipe Calderón presentó los resultados de una encuesta, según la cual la candidata presidencial de su partido, Josefina Vázquez Mota, se hallaba a tan sólo cuatro puntos de distancia del priista Enrique Peña Nieto.1 De ese modo comenzaba, en el último proceso electoral, la “guerra de las encuestas”. Ese mismo mes salió publicado ennexos un artículo de mi autoría, “Quién es quién en las encuestas”, en el que analicé la capacidad de acertar al ganador que habían tenido las distintas casas encuestadoras durante las elecciones de gobernador de 2010 y 2011, según sus últimas encuestas publicadas, así como el nivel de precisión que habían tenido al señalar la diferencia entre el primero y segundo lugares. Lo había escrito con el propósito explícito de promover un debate sobre la industria demoscópica en dos aspectos fundamentales: la transparencia y la rendición de cuentas de las casas encuestadoras en México.    

Ahora, después de la elección, con medio mundo enojado por el papel que jugaron las encuestas en el proceso electoral, estoy más convencido que nunca de que alguien tiene que llevar el récord sobre qué tan bien o qué tan mal le va a los encuestadores. Debemos desarrollar una especie de ratings de las empresas demoscópicas como los que existen en los mercados financieros: a mejor capacidad de acertar al ganador, y con la menor diferencia de puntos entre el primero y segundo lugares, una mayor calificación para el encuestador que, en el futuro, le dé una mayor credibilidad a la empresa encuestadora.

El tema es toral en nuestra democracia. No existe ningún país democrático en que no haya encuestas o en que estén prohibidas. Pero, como sabemos, mucha gente quedó inconforme con la actuación de los encuestadores en la elección de este año. No sólo los partidarios de los candidatos derrotados que llenaron las redes sociales de comentarios durísimos contra los encuestadores. La insatisfacción fue generalizada. Intelectuales como Héctor Aguilar Camín se quejaron. Los medios no supieron cómo lidiar con el asunto. El Grupo Milenio de plano anunció que se retiraba de la publicación de encuestas preelectorales por la gran diferencia que reportó su tracking poll, levantado por GEA-ISA, con el resultado final de la elección. El tema de las encuestas incluso fue citado en la demanda del Movimiento Progresista como causal para invalidar la elección. 

Tres días después de la jornada electoral, en el programa que conduzco en FOROtv, Es la hora de opinar, acudieron cinco de los encuestadores más visibles del país a debatir el desempeño de sus firmas durante 2012. A bocajarro, de entrada, les pregunté si se habían equivocado o no respecto de las últimas encuestas que publicaron, y sobre el resultado final de la elección presidencial. Dos de ellos —Jorge Buendía, de Buendía y Laredo, que publicó en El Universal, y Ulises Beltrán, de BGC, que publicó en Excélsior— dijeron que sí. Los otros tres —Roy Campos de Consulta Mitofsky, quien presentó sus encuestas en el noticiario de López-Dóriga, en Grupo Fórmula; Ricardo de la Peña, de GEA-ISA, que publicó en Milenio, y Francisco Abundis, de Parametría, en Organización Editorial Mexicana— argumentaron que no. Vino a continuación un debate entre ellos de por qué sí o por qué no se habían equivocado. No voy a repetir lo que ahí se dijo. Sólo mencionar que se extrajo una conclusión: la industria demoscópica nacional tiene que explicar qué pasó. ¿Por qué muchos de ellos sobreestimaron a Peña en sus últimas mediciones?

El objetivo de este artículo es hacer un primer corte analítico de la actuación de los encuestadores en la elección de 2012, no sólo en la presidencial, sino también en las de gobernadores y jefe de gobierno del Distrito Federal. Para dicho propósito, replico la metodología que utilicé en mi artículo publicado en nexos en marzo de este año.2

¿Quién publica últimas encuestas preelectorales?
Lo primero que hice fue recopilar las últimas encuestas preelectorales que se publicaron antes de las elecciones. Sólo las últimas, por una razón obvia: son las fotografías más cercanas a la jornada electoral y, por tanto, las que tienen menor probabilidad de equivocarse por cambios en el tiempo. Algunos encuestadores argumentan que es posible que en las últimas horas antes de la votación pueda existir una voltereta enorme en las preferencias. Es cierto. Pero también es cierto que es poco probable si no hay un evento mayor.

Entre más cerca la encuesta, más poder de predicción tiene. En este nuevo artículo recopilé las 26 encuestas más cercanas al proceso electoral. La tabla 0 muestra que el 50% de ellas fueron sobre la elección presidencial y el otro 50% sobre las elecciones de gobernador y jefe de gobierno del Distrito Federal.3

Como se aprecia en la tabla 1, 18 empresas fueron las que publicaron últimas encuestas. Los resultados de los datos recopilados los presento a final de este artículo en el Anexo.

A diferencia de lo hallado en mi artículo de marzo, ahora sí aparecen las casas encuestadoras más conocidas del país como BGC, Ipsos, Consulta Mitofsky, Demotecnia, Parametría o Covarrubias. Surge una primera pregunta: de las 18 casas encuestadores aquí reportadas, ¿cuántas de ellas, además de publicar sus encuestas en medios, trabajaron para algún partido político o candidato? 

En aras de una mayor transparencia, sería bueno que los encuestadores, que típicamente hacen trabajo de estrategia electoral para candidatos y partidos, le informaran al público si efectivamente están trabajando para alguno de ellos, además de la fuente de financiamiento del ejercicio demoscópico que están publicando.4

La tabla 1 muestra algo que me parece importante: la participación activa de los medios en la publicación de últimas encuestas preelectorales. Es lógico: una encuesta, días antes de la elección, es noticia. Pero, como fue el caso en marzo, destaca la ausencia total de las televisoras en estos ejercicios. Salvo un grupo radiofónico, Fórmula, ni las estaciones de radio ni las televisoras publican últimas encuestas preelectorales, lo cual definitivamente contrasta con otros países democráticos. Vuelvo a preguntar: ¿a qué se debe esta situación? ¿Tienen miedo los medios electrónicos de quedar mal con alguno de los partidos o candidatos?

¿Quién acierta al ganador?

Es inevitable: cuando uno observa una encuesta, busca al posible ganador de la contienda electoral. Ése es el dato principal, con todos sus asegunes metodológicos. En la tabla 2 se presentan los resultados de qué tanto acertaron los encuestadores al ganador.

Como puede observarse, de las 26 encuestas publicadas, 24 acertaron al ganador. Es un récord excelente: 92%. 

Si “el coco” de las encuestas en 2010 fue Sinaloa, en 2012 fue Tabasco, como se muestra en la tabla 3. A diferencia de las elecciones para elegir presidente, y a los gobernadores de Guanajuato, Jalisco y Morelos, así como al jefe de gobierno del Distrito Federal, en donde los encuestadores acertaron, las mediciones realizadas en Tabasco fallaron, como se observa en la tabla 4, de manera considerable.

En Tabasco ganó el candidato de la alianza PRD-PT-MC, Arturo Núñez, con 51.4% de los votos. Sin embargo, las últimas encuestas publicadas por El Universal, y otra realizada por el Colegio de Administración Pública y Políticas Públicas, daban como ganador —y por mucho— a Jesús Alí, de la alianza PRI-PVEM-PANAL. Como se observa en la tabla 4, el error fue de 12.6 puntos porcentuales en el caso de la de El Universal… y de 21.6 puntos en la del Colegio.

Los errores

Una cosa es acertar al ganador. Otra, los errores en la diferencia entre el primero y el segundo lugares reportados en la encuesta, con respecto a lo que realmente sucedió en la elección. Como puede apreciarse en la tabla 5, el error promedio de las 26 encuestas aquí analizadas fue de 7.2 puntos, menor al del análisis que realicé de 44 últimas encuestas electorales de 2010 y de 2011 en mi trabajo publicado en marzo, que fue de 8.8 puntos.5

Destacan dos encuestas que tuvieron el menor margen de error. En otras palabras, fueron las mejores en la diferencia entre el primero y segundo lugares con respecto a lo que ocurrió en la elección. Una fue la encuesta de la elección presidencial preparada por Demotecnia para UNO TV. Su error fue de 0.2 puntos, casi nada. La otra es la de Universidad Meridiano, publicada en AM, para la elección de gobernador de Guanajuato, que también tuvo un margen de error de 0.2. Les siguen las encuestas de la elección presidencial de las empresas Votia, Mercaei, Covarrubias y Reforma. Por arriba del error promedio están Parametría, GCE, IPSOS (en su escenario reportado de votantes probables), Mirac, Consulta Mitofsky, BGC, Con Estadística, El Universal, Idermec Harris y la del Colegio de Administración Pública y Políticas Públicas. 

Ahora bien, el enojo con los encuestadores está más bien relacionado con su actuación en la elección presidencial. Es por eso que hice el mismo análisis de error promedio entre el primer lugar (Peña Nieto) y el segundo (López Obrador) pero sólo para las 13 últimas encuestas que se publicaron sobre la elección de presidente de la República.

Como puede observarse en la tabla 6, el error promedio de las 13 encuestas fue de 6.9 puntos entre Enrique Peña Nieto, el primer lugar, y Andrés Manuel López Obrador, el segundo. Por debajo de este promedio se encuentran cinco encuestas que podemos considerar como las mejores en el proceso de 2012. Destacan, sin duda, Demotecnia, Votia y Mercaei, con un error de menos de un punto porcentual entre el primero y segundo lugares. Les siguen Reforma y Covarrubias. Por arriba del promedio están IPSOS, Parametría, Consulta Mitofsky y Excélsior. Con errores ya de más de dos dígitos están Con Estadística, El Universal, GEA-ISA e Indemerc Harris.

La tabla 6 también muestra algo muy importante. No es cierto que todas las encuestas se equivocaron en México. Fueron unas, quizá las más visibles, con mayor salida en los medios. Pero esto no justifica crucificar a toda la industria demoscópica del país. En todo caso, que la opinión pública castigue a los encuestadores que presentaron un mayor margen de error. Pero no pueden pagar justos por pecadores. Más bien, hacia los próximos comicios, démosle mayor credibilidad a las casas encuestadoras que obtuvieron mejores resultados: sigámosle llevando el récord de su actuación, y eventualmente desarrollemos un sistema de calificaciones o ratings de encuestadoras. 

Dos propuestas de calificación
Precisamente este es mi último punto: el desarrollo de un sistema de calificación de encuestadores. En marzo argumentaba que hace falta en México una evaluación sólida y permanente de los distintos encuestadores por parte de la sociedad. La creciente importancia que están teniendo las encuestas electorales en el mundo de la política obliga a que alguien lleve el récord de los encuestadores y desarrolle indicadores independientes para calificar su trabajo. De esta forma, al ver una encuesta, los electores sabremos si creer o no al encuestador en cuestión. 

En marzo presenté en nexos una primera propuesta de calificación para los encuestadores. Utilicé las tres variables antes mencionadas: 

En primerísimo lugar, si aciertan al ganador. Ésta la consideré la variable central porque los electores vemos encuestas para tener, precisamente, esa información. Luego entonces, en la calificación que propuse le di el peso mayor: 65% de la calificación final. 

La segunda variable es cuántas últimas encuestas publicó el encuestador. Creo que hay que premiar a los que más publican por el riesgo que toman. Les di un 19% de la calificación final.

La tercera variable tiene que ver con los errores en la diferencia entre el primero y segundo lugares. Aquí le asigné un peso de 16% para la calificación final.

Me queda claro, como expuse en el artículo citado, que se trata de una calificación arbitraria: yo decidí darle cierto peso al trabajo de los encuestadores (65% si aciertan al ganador, 19% entre más publiquen encuestas y 16% entre menos errores cometan al señalar la distancia entre el primero y segundo lugares en las competencias electorales). Pero me parecía un buen comienzo para calificarlos (ver tabla 7).

Repliqué esta forma de calificar en las 26 últimas encuestas que se publicaron en el proceso de 2012. La tabla 6 presenta el quién es quién de los encuestadores después de las elecciones. Como esta calificación otorga gran peso a la capacidad que tienen las encuestas de acertar al ganador (65%), y puesto que la gran mayoría (92%) acertó, no sorprende, entonces, que 17 de las 18 casas encuestadoras hayan aprobado. Sólo el Colegio de Administración Pública y Políticas Públicas reprobó. 

Esto nos daría la idea de que, si de acertar al ganador se trata, le fue bien a la industria demoscópica nacional. Incluso, contra lo que piensan muchos, quien sale mejor calificado es GEA-ISA al haber publicado tres encuestas con tres aciertos. No obstante, Milenio, en voz de Ciro Gómez Leyva, consideró que su encuestador se había equivocado, pidió una disculpa e informó que el medio no publicaría más encuestas preelectorales. Se refería, desde luego, al error que tuvo el encuestador en cuanto a los puntos de diferencia entre el primer lugar en la elección presidencial (Peña Nieto) y el segundo (López Obrador). De ahí la necesidad de considerar una segunda calificación.

Dejemos el mismo ponderador para el número de encuestas publicadas: 19% de la calificación. Pero repartamos el 81% restante entre las otras dos variables: 40.5% por la capacidad de acertar al ganador, y 40.5% por la diferencia de menor error entre el primero y segundo lugares. 

La tabla 8 presenta esta segunda propuesta de calificación que le da un mayor peso a la variable que causó más enojo durante la elección de 2012: la diferencia entre el primero y segundo lugares. De los 18 encuestadores, 12 aprueban y seis reprueban. El grupo lo podemos dividir en cuatro:

Cuadro de honor (muy buena calificación): Demotecnia, Universidad Meridiano, GEA-ISA y Votia.

Desempeño decoroso (calificación media): Reforma, Mercaei, Covarrubias, Parametría, GCE y RevoWare.
De panzazo (apenas aprobados): IPSOS y Mirac.
Reprobados (calificación insatisfactoria): Consulta Mitofsky, BGC, El Universal, Con Estadística, Indemerc Harris y Colegio de Administración Pública y Políticas Públicas. 

Ahí está, pues, una segunda medición de quién es quién en las encuestas en México después de 2012. Nótese que hay encuestadores como Reforma que en el análisis de marzo salieron reprobados y ahora tuvieron un desempeño decoroso. Contrariamente, El Universal y BGC salieron en el cuadro de honor en marzo y ahora aparecen reprobados. 

Calificación de encuestas de la elección presidencial 
Mucho del enojo con las encuestas tiene que ver con las que se levantaron sobre la elección presidencial. Y es que no es lo mismo, por la importancia del puesto político, una encuesta sobre el proceso electoral en un municipio o estado que acertar el ganador a la presidencia y, desde luego, la diferencia entre el primero y segundo lugares. He mencionado cómo, por ejemplo, Grupo Milenio decidió dejar de publicar encuestas preelectorales por la diferencia entre los resultados de su encuesta, y lo que ocurrió en realidad. Si a esto le sumamos que ni Televisa ni TV Azteca publican encuestas preelectorales, lo que tenemos es un destierro de los ejercicios demoscópicos de los principales medios de comunicación del país. 

Es un error. Yo creo que las televisoras, abiertas y de paga, deben publicar encuestas preelectorales. Eso es lo común en todas las democracias. No se trata de abandonarlas, sino de contratar a las empresas que obtengan los mejores resultados. 

¿Cuáles? Arriba hay dos propuestas de calificación. Ahora desarrollo una tercera, ad-hoc sólo para las últimas encuestas de la elección presidencial. Para tal efecto, quité el factor de 19% para más encuestas publicadas, ya que de las 13 aquí reportadas, todas publicaron una. Luego, reduje el ponderador de haberle atinado al ganador a sólo el 20% de la calificación, ya que, como hemos dicho, todas afirmaron que ganaría Peña. El 80% restante se lo asigné a la diferencia por menor margen de error entre el primero y segundo lugares. La tabla 9 presenta los resultados de esta tercera calificación ad-hoc para encuestas presidenciales. 
Usando esta calificación, hay tres grupos de casas encuestadoras:

Destacadas con calificación de más de 8: Demotecnia, Votia, Mercaei y Reforma.

Aprobadas con calificaciones de entre 6 y 8: Covarrubias, IPSOS (en su escenario de votantes probables) y Parametría.
Reprobadas: Consulta Mitofsky, BGC, Con Estadística, El Universal, GEA-ISA e Indemerc Harris. 

Nótese cómo una empresa como GEA-ISA pasa del cuadro de honor en la calificación de la tabla 8 a reprobada en la tabla 9. Y es que esta empresa, donde se equivocó fue en la elección presidencial porque en las otras dos que publicó (jefe de gobierno del Distrito Federal y gobernador de Morelos) le fue bien. Todo lo cual nos lleva al debate de cuál es la calificación que debemos utilizar para medir el desempeño de las empresas encuestadoras en esta última elección de 2012. 

Conclusión: Lo que sigue
La intención de este artículo, como en el de marzo, es promover un debate acerca de la transparencia y la rendición de cuentas de los encuestadores en México. Estoy seguro, porque así sucedió en el ejercicio anterior, que a algunos de ellos les disgustará el análisis aquí presentado. Espero sigan proponiendo alternativas para medir la efectividad en la predicción de las encuestas preelectorales. Bienvenidas sus propuestas. 

Un último punto: sigo pensando que las encuestas es el único instrumento científico para medir a la opinión pública. Aunque algunas hayan errado, yo seguiré creyendo en ellas. Sobre todo si desarrollamos, como he mencionado, un sistema de ratings de las casas encuestadoras. De lo contrario, si dejamos de creer en las encuestas, no tendremos información para saber qué está pasando. Tendremos que recurrir a Walter Mercado o a los partidos para que nos lo digan. Me rehúso a recurrir a videntes o a los actores involucrados directamente en una elección. Seguiré prefiriendo a las encuestas. A las buenas que, como aquí se demuestra, existen.

Leo Zuckermann. Politólogo. Profesor afiliado de la División de Estudios Políticos del CIDE. Columnista de Excélsior y conductor de Es la hora de opinar en FOROtv.

1 Luego se supo que la encuesta a la que se había referido el presidente la había levantado la empresa Mercaei y que en realidad eran cinco y no cuatro puntos de diferencia. 
2 Véase Leo Zuckermann, “Quién es quién en las encuestas”, nexos, marzo 2012. 
3 No incluí las gubernaturas de Chiapas porque no hubo ninguna encuesta publicada a dos semanas de la elección ni la de Yucatán donde, por ley, está prohibido publicar encuestas 15 días antes de los comicios. 
4 Este último punto, la fuente de financiamiento de la encuesta, se incluye en la ventana metodológica de las encuestas publicadas como parte de la regulación que les exige el Instituto Federal Electoral. 
5 Véase Leo Zuckermann, loc. cit.

Leído en: htt Revista Nexos